OpenAI облажалась с диаграммами на презентации GPT-5 — Альтман признал ошибку

0
0

Во время масштабной прямой трансляции с презентацией модели искусственного интеллекта GPT-5 компания OpenAI продемонстрировала несколько диаграмм, которые должны были иллюстрировать впечатляющие способности новой модели. Однако при более внимательном рассмотрении некоторые графики оказались построены с серьёзными неточностями.

ca2723f2baaa4732049e18a8f62ad1e5
HUAWEI Pura 80 Ultra глазами фотографа e721d87ee34f573fa5179782305209bb
Обзор смартфона HUAWEI Pura 80 Ultra: зум, которому нет равных 0aa2c6a1c7b8c2bc26c143703d36e62c
Первый взгляд на смартфон HUAWEI Pura 80 Ultra 679a6997d16ff776a2be3884deb6dea9
Пять причин полюбить HONOR 400 b1d6876f49bdaaa2b069939413e122b0
Обзор смартфона HONOR 400: реаниматор 818d1a9c3b68a87e23082ee5f91e41c0
HUAWEI nova Y73: самый недорогой смартфон с кремний-углеродной батареей 556fef890e79dd5b0084c8c635d079d9
Обзор HUAWEI MatePad Pro 12.2’’ (2025): обновление планшета с лучшим экраном 488457bfc9ca6d71241cadda9847f280
Обзор смартфона HUAWEI nova Y63: еще раз в ту же реку b9c60b7a288d382a78c748553100894a
Обзор ноутбука HONOR MagicBook Pro 14 (FMB-P) на платформе Core Ultra второго поколения 6a5c2b2efad573a97588b134979c3c69
Пять причин полюбить ноутбук HONOR MagicBook Pro 14 44ae2180b3ebc5dfe8579deb92631034

Источник изображения: Mariia Shalabaieva / unsplash.com

На одной из диаграмм, которая, по иронии, должна была демонстрировать высокие результаты GPT-5 в «оценке склонности к обману у разных моделей», шкала не соответствует числовым значениям. Например, для «обмана при написании кода» у GPT-5 указано значение 50,0 %, тогда как у модели o3 — 47,4 %. Однако столбец для o3 на диаграмме оказался выше. Более того, в корпоративном блоге OpenAI указано совсем другое значение для GPT-5 — 16,5 %, что, вероятно, и является верным показателем.

68e296b01fa7c60e086629a75eea2a79

Источник изображения: x.com/shreyk0

В тесте SWE-bench Verified один из показателей GPT-5 должен быть ниже, чем у o3, но ему соответствует более высокий столбец диаграммы; на этой же диаграмме результаты o3 и GPT-4o различаются, но иллюстрируются столбцами одинакового размера. В OpenAI восприняли ошибку всерьёз — гендиректор компании Сэм Альтман (Sam Altman) повинился и добавил, что в корпоративном блоге опубликованы правильные версии.

47fd5ec20ec08f862b32a024c946ea0c

Источник изображения: x.com/EgeErdil2

В OpenAI не уточнили, использовалась ли сама GPT-5 для построения диаграмм, но такой инцидент явно не добавляет доверия в контексте масштабной презентации новой модели. Особенно с учётом того, что разработчики заявили о значительном снижении уровня галлюцинаций у GPT-5.

Источник: 3Dnews.ru