Компания Intel открыла исходный код своей библиотеки ускорения NPU Acceleration Library, позволяющей компактным моделям искусственного интеллекта работать непосредственно на блоках NPU в процессорах Meteor Lake.
Библиотека создана на языке Python и призвана помочь разработчикам улучшить свои продукты при условии запуска их на блоках NPU новейших процессоров Intel. Библиотека позволяет запускать компактные языковые модели вроде Gemma-2b или TinyLlama прямо на NPU, не требуя никакого облачного сервера. Собственно, это именно то, зачем вообще в процессорах нужны аппаратные блоки NPU, и то, чего на данный момент не хватает.
Напомним, блоки NPU есть в процессорах Intel Meteor Lake и AMD Ryzen 7040/8040. Пока что для большинства пользователей эти блоки совершенно бесполезны.
По материалам
