Вам отчаянно нужен графический процессор NVIDIA? Не стресс, вы скоро сможете заказать один в Интернете.
Nvidia объявила об универсальном магазине под названием DGX Cloud Lepton, который позволит разработчикам арендовать графические графические процессоры NVIDIA по всему миру среди хозяев.
Разработчики могут войти в лептон, указать их задачу ИИ и арендовать соответствующий графический процессор. Используя аналогию Uber, графические процессоры придут к разработчикам, у которых нет времени пойти и найти его.
«Подобно современным приложениям для обмена ездами, которые соединяют гонщиков с водителями, DGX Cloud Lepton предоставляет современный рынок, который соединяет разработчиков с GPU вычислением, а не только на местном уровне»,-сказал Алексис Блэк Бьорлин, вице-президент Nvidia DGX Cloud, на брифинге для прессы.
Доступность графического процессора не является серьезной проблемой, но поиск правильного обслуживания для десятков облачных сервисов или независимых объектов может быть головной болью.
Множество графических процессоров NVIDIA будут доступны для заказа — включая Blackwell, его последний графический процессор. Также будут доступны более старые графические процессоры, в том числе бункер (на котором работает CHATGPT) и, возможно, Ampere.
GPU будут зависеть от работы. Если пользователям нужна крупномасштабная подготовка для моделей, это может быть Блэквелл. Если пользователям необходимо вывести вывод, может быть назначен бункер или ампер. Если пользователям нужна низкая задержка, то будет назначен графический процессор в соседнем регионе.
Проблема: больше поставщиков графических процессоров
Нвидиа -графические процессоры были в дефиците до прошлого года. Microsoft, Openai, Amazon и Meta соглощали большинство материалов. Даже Apple не смогла приобрести запчасти, которые ставят их годами в ИИ, согласно истории Bloomberg на этой неделе.
Облачные провайдеры первоначально взимали премию за доступ к графическим процессорам NVIDIA. Они были доступны только для крупных клиентов.
Но в соответствии с нормированием поставок, куча независимых поставщиков графических процессоров появилась, чтобы обеспечить вычисления искусственного интеллекта по более дешевым ценам. Большинство из них ранее добывали криптовалюту, но повернули свое оборудование в ИИ, так как этот рынок взлетел. Такие компании, как Crusoe Energy, которая продала свой бизнес по добыче биткойнов в марте, приобрела новые графические процессоры и начали сдавать их в аренду в качестве инфраструктуры искусственного интеллекта. Другим примером является парк напряжения, который был основан руководителем Crypto, но теперь предлагает одноразовые графические процессоры H100 по 1,99 доллара в час.
Черный Бьорлин Nvidia признал, что способность графического процессора выросла, добавив «поиск и эффективное использование инфраструктуры ИИ в нужных регионах на высокой производительности может быть сложным».
Uber-подобная идея Nvidia
Доставка графических процессоров от Lepton будет от менее известных поставщиков графических процессоров, включая CoreWeave, Crusoe, Lambda, Foxconn и других. Пока не ясно, смогут ли пользователи выбрать провайдера.
Лептон не включает в себя топ-4 облачных провайдеров, но пользователи смогут «принести свой вычислитель и платформы, которые они в настоящее время используют, так что это, безусловно, вариант на этой платформе»,-сказал Бьорлин.
Чтение между строками, NVIDIA может создавать свой собственный облачный сервис и будет конкурировать с такими, как Amazon, Google и Microsoft, которые также арендуют графические процессоры.
Бьорлин также указал, что Lepton будет быть гибридным облачным, что означает, что разработчики могут подключать свои данные или рабочие нагрузки ИИ с прокатом графических процессоров у более мелких поставщиков.
Более дешевые альтернативы
Цены на Лептона не были доступны, но услуга требует некоторого программного обеспечения и инструментов NVIDIA, что не дешево.
Чтобы избежать премии Nvidia, может быть дешевле арендовать графические процессоры непосредственно от небольших поставщиков услуг, которые уже являются частью Лептона.
Полностью загруженный графический процессор NVIDIA H200 от Crusoe Energy, для одного экземпляра в течение шестимесячного семестра, выставит пользователей обратно около 120 000 долларов. Более медленное A100 будет примерно вдвое меньше цены.
Цена H200 от CoreWeave составляет около 50 долларов в час.
Сила Lepton находится в своем программном обеспечении, который заботится о стеке разработки программного обеспечения и оборудования NVIDIA. Разработчики могут перенести свои программы непосредственно в графические процессоры и отключить сложность разработки и микросервисов в середине.
В качестве альтернативы, может быть лучше получить аппаратное обеспечение, которое работает локально — поскольку требования к обработке для ИИ также сокращаются.
Nvidia скоро начнет доставку DGX Spark, которая обеспечивает один петафлоп производительности и сможет выполнить вывод на настольных компьютерах. Аппаратное обеспечение было описано как «Ваше собственное облако ИИ, сидящее рядом с вами, и оно всегда включено, всегда ожидая вас», генерального директора Nvidia Jensen Huang во время основного доклада.
Как будет работать Лептон
Сначала разработчики должны зарегистрироваться как разработчик NVIDIA и создать облачный сервер. После этого разработчики могут подать заявку на доступ к сервису.
Моя заявка на службу в настоящее время находится на рассмотрении. NVIDIA, кажется, разбирается в выборе пользователей, ограничивая разрешения пользователям, которые могут правильно использовать свои графические процессоры, и с деньгами, чтобы потратить. Мои заявки на бета -услуги искусственного интеллекта никогда не были одобрены — тем не менее, разработчики должны дать ему шанс.
Если вы получите доступ, вы можете принять приложения LLMS или AI с веб -сайта Nvidia Build и развернуть их в Lepton. Можно быть гранулированным и настраивать задачу для развертывания на вычислительные узлы.
Пользователи могут выбрать тип работы и графического процессора, установить контейнер с средой разработки и отправлять задание искусственного интеллекта на графические процессоры. Учебная работа пойдет на высококлассные графические процессоры, в то время как вывод будет отправлен на графические процессоры более низкого уровня.
Разработчики могут настроить GPU и управлять несколькими машинами в интерфейсе Lepton. Это включает в себя выбор изображения контейнера, выбор типа экземпляра (ЦП или графический процессор) и установление переменных. Nvidia предоставляет шаблоны для MPI и Torchrun для начала работы.
Пользователи также могут запускать ноутбуки Jupyter в контейнерах. Струйку можно получить через SSH, браузер или с помощью других инструментов. Лептон организует и управляет узлами в зависимости от работы и типа графического процессора.
Разработчики могут принести свое собственное оборудование для интеграции в Лептон для более управляемых узлов. Но значительный список требований включает в себя 640 ГБ хранилища на графический процессор (рекомендуется: 20 ТБ NVME SSD), высококлассные процессоры сервера x86, Ubuntu 22.04 LTS и CUDA 12.4.1 или выше.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Агам Шах освещал его более десяти лет. Помимо машинного обучения, оборудования и чипов, он также интересуется боевыми искусствами и Россией. Подробнее от Агама Шаха
