Новейшая флагманская модель ИИ Антропика, Claude 3,7 Сонета, стоит «несколько десятков миллионов долларов», чтобы тренироваться, используя менее 10^26 провалов вычислительной мощности.
Это, по словам профессора Уортона Итана Моллика, который в понедельник в понедельник передал разъяснение, которое он получил от PR Anpropic. «Со мной связался Антропик, который сказал мне, что сонет 3.7 не будет считаться моделью флопа 10^26 и стоить несколько десятков миллионов долларов», — написал он, — хотя будущие модели будут намного больше ».
TechCrunch обратился к Антропику для подтверждения, но не получил ответа на время публикации.
Предполагая, что Sonnet Claude 3,7 действительно стоит всего лишь «несколько десятков миллионов долларов» для обучения, не учитывая связанные с ними расходы, это признак того, насколько относительно дешево становится выпускать самые современные модели. Генеральный директор Dario Amodei сообщил, что предшественник Claude 3.5 Sonnet’s, выпущенный осенью 2024 года, также обошлся на несколько десятков миллионов долларов для обучения.
Эти итоги довольно выгодно сравниваются с учебными ценами лучших моделей 2023 года. По словам генерального директора Openai Сэм Альтман, на разработку своей модели GPT-4 потратил более 100 миллионов долларов. Между тем, Google потратил около 200 миллионов долларов на обучение своей модели Gemini Ultra, по оценкам Стэнфорда.
При этом Amodei ожидает, что будущие модели ИИ стоят миллиарды долларов. Конечно, затраты на обучение не отражают такие работы, как тестирование безопасности и фундаментальные исследования. Более того, поскольку индустрия искусственного интеллекта использует модели «рассуждений», которые работают над проблемами в течение длительных периодов времени, вычислительные затраты на управляемые модели, вероятно, будут продолжать расти.
