Начало, новая компания из Palo Alto, основанная профессором компьютерных наук Стэнфорда Стефано Эрмоном, утверждает, что разработала новую модель ИИ, основанную на технологии «диффузии». Начало называет это моделью большой языка на основе диффузии или «DLM» для краткости.
Генеративные модели ИИ, получающие наибольшее внимание сейчас, могут быть широко разделены на два типа: модели крупных языков (LLMS) и диффузионные модели. LLM, построенные на архитектуре трансформатора, используются для генерации текста. Между тем, диффузионные модели, которые питают системы ИИ, такие как Midjourney и Openai’s Sora, в основном используются для создания изображений, видео и аудио.
Модель «Начало» предлагает возможности традиционных LLMS, включая генерацию кода и ответные вопросы, но с значительно более высокой производительностью и снижением затрат на вычисление, по данным компании.
Эмон сказал TechCrunch, что он изучает, как применять диффузионные модели для текста в течение длительного времени в своей лаборатории в Стэнфорд. Его исследование было основано на идее, что традиционные LLMS относительно медленные по сравнению с диффузионной технологией.
С LLMS «вы не можете генерировать второе слово, пока не сгенерируете первое, и вы не можете генерировать третье, пока не генерируете первые два», — сказал Эмон.
Эрмон искал способ применить диффузионный подход к тексту, потому что, в отличие от LLMS, которые работают последовательно, диффузионные модели начинаются с приблизительной оценки данных, которые они генерируют (например, изображение), а затем приводят данные в фокус одновременно.
Эрмон гипотетическая генерирование и изменение больших блоков текста параллельно было возможным с диффузионными моделями. После многих лет попыток, Эрмон и ученик его достигли крупного прорыва, который они подробно рассказали в исследовательской статье, опубликованной в прошлом году.
Признавая потенциал продвижения, Эрмон основал начало прошлым летом, поступив на двух бывших студентов, профессор UCLA Адитья Гровер и профессор Корнелла Володимира Кулешова, чтобы свести компанию.
В то время как Эрмон отказался обсудить финансирование начала, TechCrunch понимает, что фонд Мэйфилда инвестировал.
По словам Эмрон, «Начало» уже обеспечило нескольких клиентов, в том числе неназванные компании из списка Fortune 100, решая их критическую потребность в снижении задержки ИИ и повышенной скорости.
«Мы обнаружили, что наши модели могут гораздо эффективнее использовать графические процессоры», — сказал Эмон, имея в виду компьютерные чипы, обычно используемые для запуска моделей в производстве. «Я думаю, что это действительно большое дело, потому что я думаю, что это изменит способ создания языковых моделей людей».
Начало предлагает API, а также локальные и параметры развертывания устройств Edge, поддержка точной настройки модели и набор из DLMS в нескольких вариантах для различных вариантов использования. Компания утверждает, что его DLMS может работать в 10 раз быстрее, чем традиционные LLM, при этом в 10 раз меньше.
«Наша« маленькая »модель кодирования так же хороша, как [OpenAI’s] GPT-4O Mini, в то время как более чем в 10 раз быстрее »,-сказал представитель компании TechCrunch, представитель компании. «Наша модель« мини-»превосходит небольшие модели с открытым исходным кодом, такие как [Meta’s] Llama 3.1 8b и достигает более 1000 токенов в секунду ».
«Жетоны» — это отраслевой язык для кусочков необработанных данных. Одна тысяча жетонов в секунду действительно впечатляющая скорость, предполагая претензии «Начало».
