На данный момент искусственный интеллект в Windows практически никак не задействован, если не считать интеграции языковой модели GPT. Однако, во-первых, уже есть процессоры AMD с выделенным блоком для работы с ИИ и аналогичные готовит Intel, а во-вторых, согласно слухам, вокруг ИИ будет построена Windows 12. И вот теперь сообщается, что обычные пользователи получат в свои руки фактически ускорители для ИИ от Nvidia, только в программном виде.
Компания объявила, что её библиотека TensorRT-LLM, которая повышает производительность вывода для новейших моделей большого языка ИИ, теперь доступна для Windows. TensorRT-LLM позволяет значительно ускорить работу с ИИ.
В частности, в Stable Diffusion в популярном веб-интерфейсе дистрибутива Auto1111 разработка Nvidia ускоряет работу ИИ почти вдвое. В итоге с таким улучшением RTX 4090 опережает Apple M2 Ultra в семь раз.
Судя по всему, работать это будет только на видеокарта GeForce RTX, но для Nvidia это вполне логично. Фактически компания таким образом «превращает» свои игровые адаптеры в ускорители для ИИ.
По материалам
