Илон Маск заявил, что для обучения языковой модели Grok 3 понадобится около 100 000 ускорителей Nvidia H100

0
0

Илон Маск рассказал, что для обучения нового поколения генеративного искусственного интеллекта Grok компании xAI нужно очень много ускорителей Nvidia. 

7736e5365197d9846d56b7e7b767c2a7

Обучение модели Grok 2, которая уже вскоре станет доступно, потребовало 20 000 ускорителей Nvidia H100. А вот для Grok 3 нужно будет около 100 000 таких адаптеров. Либо меньшее количество более мощных ускорителей Blackwell. 

По словам Маска, развитию технологий искусственного интеллекта в настоящее время препятствуют два основных фактора: нехватка самых современных ускорителей для ИИ и доступность электроэнергии. Напомним, один H100 потребляет около 700 Вт мощности. Поэтому 100 000 таких карт, соответственно, будут потреблять 70 МВт, и это только сами карты без учёта остальных компонентов. Суммарно вся система вполне может перевалить и за 100 МВт. 

По материалам iXBT.com