На этой неделе Sakana AI, поддерживаемый NVIDIA стартап, который поднял сотни миллионов долларов от венчурных фирм, сделал замечательное требование. Компания заявила, что создала систему искусственного интеллекта, инженер AI CUDA, которая могла бы эффективно ускорить обучение определенных моделей ИИ в размере до 100x.
Единственная проблема в том, что система не сработала.
Пользователи на X быстро обнаружили, что система Sakana фактически привела к эффективности обучения модели хуже, чем среднее. По словам одного пользователя, ИИ Сакана привел к замедлению в 3 раза, а не в ускорении.
Что пошло не так? Ошибка в коде, согласно сообщению Лукаса Бейера, члена технического персонала в Openai.
«Их код оригинала неверен в [a] Тонкий путь, — писал Бейер на X. «Тот факт, что они дважды бегают на сравнение с дико разными результатами, должен заставить их остановиться и думать».
В посмертной опубликованной в пятницу Сакана признала, что система нашла способ — как описала Сакана — «обмануть» и обвинила тенденцию системы «вознаградить взломать» — то есть определить недостатки в достижении высоких показателей без достижения желаемой цели (ускорение UP Model Training). Подобные явления наблюдались в ИИ, который обучался играть в игры в шахматы.
По словам Саканы, система обнаружила эксплойты в коде оценки, которые использовала компания, которая позволила ей обходить проверку для точности, среди прочих проверок. Сакана говорит, что он решает эту проблему, и что она намерена пересмотреть свои претензии в обновленных материалах.
«С тех пор мы сделали оценочные и профилирующие профилирование, чтобы устранить многие из таких [sic] Лазейки », — написала компания в посте X. «Мы находимся в процессе пересмотра нашей статьи и наших результатов, чтобы отразить и обсуждать эффекты […] Мы глубоко извиняемся за наш надзор за нашими читателями. Мы скоро предоставим пересмотр этой работы и обсудим наши знания ».
Реквизит в Сакану за то, что они придерживались ошибки. Но этот эпизод является хорошим напоминанием о том, что если претензия звучит слишком хорошо, чтобы быть правдой, особенно в ИИ, это, вероятно, есть.
