Высокопоставленный бывший исследователь политики, Майлз Брандадж, в среду отправился в социальные сети, чтобы критиковать Openai за «переписывание истории» подхода к его развертыванию для потенциально рискованных систем ИИ.
Ранее на этой неделе Openai опубликовал документ, в котором рассказывается о своей нынешней философии по безопасности и выравниванию ИИ, процессу проектирования систем ИИ, которые ведут себя желательно и объяснимыми способами. В документе Openai сказал, что он видит развитие AGI, широко определяемое как системы ИИ, которые могут выполнять любую задачу, которую человек может, как «непрерывный путь», который требует «итеративного развертывания и обучения» из технологий искусственного интеллекта.
«В прерывистых мирах […] Уроки безопасности поступают от лечения сегодняшних систем с негабаритной осторожностью по сравнению с их очевидной властью, [which] это подход, который мы приняли [our AI model] GPT -2, — написал Openai. «Теперь мы рассматриваем первый AGI как только один пункт по ряду систем растущей полезности […] В непрерывном мире способ сделать следующую систему безопасной и полезной — учиться у текущей системы ».
Но Brundage утверждает, что GPT-2 действительно гарантировал обильную осторожность во время его выпуска, и что это было «на 100% согласованно» с стратегией итеративного развертывания OpenAI сегодня.
«Выпуск GPT-2 Openai, в котором я участвовал, был на 100% последовательным [with and] В настоящее время предвещала текущая философия итеративного развертывания Openai », — написал Брундаж в посте на X.« Модель была выпущена постепенно, с уроками, разделенными на каждом шаге. Многие эксперты по безопасности в то время поблагодарили нас за эту осторожность ».
Брандадж, который присоединился к Openai в качестве научного сотрудника в 2018 году, в течение нескольких лет был руководителем отдела политических исследований компании. В команде Openai «Agi Greaty» он уделял особое внимание ответственному развертыванию систем генерации языка, таких как платформа Openai’s AI Chatbot Catgpt.
GPT-2, который OpenAI объявил в 2019 году, был прародителем системных систем, работающих в CATGPT. GPT-2 мог бы ответить на вопросы по теме, суммировать статьи и генерировать текст на уровне, иногда неразличимым от уровня людей.
В то время как GPT-2 и его результаты могут выглядеть базовыми сегодня, в то время они были передовыми. Ссылаясь на риск злонамеренного использования, OpenAI первоначально отказался выпустить исходный код GPT-2, выбрав вместо того, чтобы дать выбранные новостные агентства ограниченный доступ к демонстрации.
Решение было встречено со смешанными обзорами из индустрии ИИ. Многие эксперты утверждали, что угроза, представленная GPT-2, была преувеличена, и что не было никаких доказательств того, что модель модель могла быть злоупотребляет тем, как Openai описан. Публикация, ориентированная на AI. Градиент зашел так далеко, что опубликовал открытое письмо с просьбой выпустить Openai модель, утверждая, что это было слишком технологически важно сдержать.
OpenAI в конечном итоге выпустил частичную версию GPT-2 через шесть месяцев после открытия модели, за которой последовала полная система через несколько месяцев после этого. Брандадж думает, что это был правильный подход.
«Какая часть [the GPT-2 release] Был ли мотивирован или предполагал, что думать об AGI является прерывистым? Ничего из этого, — сказал он в посте на X. «Каковы доказательства, что это предупреждение было« непропорциональным »бывшим? Ex post, это вероятно. было бы в порядке, но это не значит [sic] дана информация в то время ».
Брандадж опасается, что цель Openai с документом состоит в том, чтобы создать бремя доказывания, где «проблемы являются панимистом» и «вам нужны подавляющие доказательства неизбежных опасностей, чтобы действовать на них». Это, как он утверждает, является «очень опасным» менталитетом для продвинутых систем ИИ.
«Если бы я все еще работал в Openai, я бы спросил, почему это [document] был написан так, как это было, и что именно Openai надеется достичь, осторожно осторожно осторожна »,-добавил Брундаж.
Исторически OpenAI обвиняли в приоритетах «блестящие продукты» за счет безопасности и в стремительных выпусках продуктов, чтобы победить конкурирующих компаний на рынок. В прошлом году Openai распал свою команду Agi Greaty, и ряд исследователей безопасности и политики ИИ покинул компанию для конкурентов.
Конкурентное давление только увеличилось. Китайская лаборатория AI Deepseek привлекла внимание мира с открыто доступной моделью R1, которая совпала с моделью Operai O1 «Рассуждение» по ряду ключевых контрольных показателей. Генеральный директор Openai Сэм Альтман признал, что DeepSeek уменьшил технологическое лидерство Openai, и сказал, что Openai «подтянет несколько релизов», чтобы лучше конкурировать.
На линии много денег. OpenAI теряет миллиарды ежегодно, и, как сообщается, компания прогнозирует, что ее годовые убытки могут утратить до 14 миллиардов долларов к 2026 году. Более быстрый цикл выпуска продукта может принести пользу в ближайшем будущем OpenAI, но, возможно, за счет долгосрочной безопасности. Эксперты, такие как Brundage, вопрос о том, стоит ли компромисс.
