Вывод на крупные языковые модели (LLMS) не дешево. Возможно, не удивительно, что, хотя гиперсвалики получают большую часть MindShare, когда дело доходит до обучения и развертывания этих моделей, существует целый класс поставщиков, таких как Lambda и Hyperstack, которые фокусируются исключительно на предоставлении доступа по графическим процессорам по требованию для GPU для того, что обычно является гораздо более низкой ценой.
Deep Infra, еще один игрок в этом пространстве, объявляет об финансировании серии A 18 миллионов долларов, возглавляемым Felicis, с участием ангелов, таких как Брайан Поконки и генеральный директор Vercel Guillermo Rauch.
Сервис делает популярные модели с открытым весом из Google, Meta, Microsoft, Mistral, DeepSeek и других, доступных через API-интерфейсы по конкурентоспособной цене (как собственную, так и открытую совместимую).
Как и большинство конкурентов, он взимает другую цену за токены ввода и вывода. Пользователи, которые хотят развернуть свои собственные модели, также могут сделать это, используя графические графические процессоры NVIDIA A100, H100 или H200 по цене 1,50 долл. сша/час, 2,40 долл. сша в час и 3,00 долл. сша в час соответственно. Deep Infra говорит, что уже получила большое количество графических процессоров Nvidia Blackwell.
Для стартапов, которые собрали от 250 000 до 10 миллионов долларов, Deep Infra также предлагает миллиард бесплатных токенов, чтобы попробовать свою платформу.
Основатели, Никола Борисовой (генеральный директор), Йессенжар Канапин и Georgios Papoutsis, ранее работали в приложении для обмена сообщениями imo.im, где они создали инфраструктуру этой услуги, чтобы поддержать более 200 миллионов активных пользователей в месяц. Среди знаний о программном обеспечении, который они получили из этого, это также означало переговоры и обеспечение центров обработки данных по всему миру, потому что 95% инфраструктуры услуги находилось в помещениях. Именно этот опыт считает, что теперь он позволит им добиться успеха в пространстве вывода модели искусственного интеллекта. В частности, они считают, что для того, чтобы быть успешным в этом пространстве, вы должны владеть и управлять своим оборудованием.
«Вы должны пройти весь путь до выбора центров обработки данных, заказать машины и владеть ими», — сказал мне Борисовым. «Я понимаю, что это сложно для стартапов, но я делал это в прошлом для мессенджера с точки зрения получения и получения аппаратного обеспечения, и это действительно имеет финансовый смысл».
В этом контексте Борисов сравнил создание облака выводов с построением CDN. Экономика запуска CDN на арендованных машинах не имеет смысла, утверждал он, плюс обслуживание не было бы очень хорошим, потому что вы не можете контролировать основные части инфраструктуры.
Он также подчеркнул, что в то время как рабочие нагрузки для обучения и вывода используют высококачественные графические процессоры, пользователи обычно хотят мощный централизованный сервис для рабочих нагрузок обучения; Для вывода они часто рады более широко распространять свои рабочие нагрузки. Практически, это означает, что, хотя оптимизированная тренинга облачная служба будет использовать пространство центра обработки данных, где основное внимание уделяется плотности, вероятно, с водяным охлаждением в качестве по умолчанию, услуга вывода не нуждается в этой плотности и может выбрать более традиционные пространства центров обработки данных с воздушным охлаждением.
Борисовым говорит мне, что для многих пользователей компании самой большой проблемой является стоимость вывода. «Мы пытались преуспеть с точки зрения обеспечения наилучшей стоимости. И мы можем сделать это, потому что мы владеем и эксплуатируем аппаратное обеспечение, и у нас есть очень оптимизированный стек выводов», — сказал он.
Компания заявляет, что за последние два года увеличилась на 8000 раз за последние два года (но, конечно, это может быть из -за низкой базовой линии). Борисов также говорит мне, что количество жетонов, генерируемых каждый день на платформе Deep Infra, увеличивалось более 16 раз за последний год.
Команда признала, что многое из этого было бы невозможно без роста моделей открытого веса. Несмотря на то, что существует много дискуссий о том, являются ли эти модели с открытым исходным кодом или нет, такие модели Meta’s Llama или Google Gemma стали чрезвычайно популярными и конкурируют с производительностью многих платных моделей. По словам Борисова, без роста этих моделей Deep Infra может быть сегодня в совершенно ином месте.
«Если вы отправитесь в Reddit и ищете глубокие инфра, люди похожи:« Я не могу чертовски вернуть, что Никола [Borisov] и команда делает. Они соходят с ума [tokens per second] Из машины, — сказал мне основатель Felicis Айдин Сенкут. «Так что я думаю, что это неправильно понято. Это то, что я также видел в Google. Ларри [Page] Создал свои собственные машины, и в результате Google смог запустить Gmail. Я вижу некоторые из этих моделей в Николе и его соучредителях, которые, как мне кажется, были очевидны для многих инвесторов, если таковые имеются, кроме людей, очевидно, в компании ».
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Прежде чем присоединиться к новому стеку в качестве старшего редактора для ИИ, Фредерик был редактором предприятия в TechCrunch, где он освещал все, от роста облака и самых ранних дней Kubernetes до появления квантовых вычислений …. Подробнее от Frederic Lardinois
