В своих постоянных усилиях по созданию Kubernetes де-факто платформы для крупномасштабных рабочих нагрузок AI/Machine Learning (ML), Google заключил партнерство с Anscale, чтобы предложить размещенную версию одной из самых быстрорастущих платформ AI, Apache Ray.
Apache Ray — это платформа, которая предоставляет способ масштабировать приложения Python для запуска в распределенных средах. Он нашла благосклонность для дизайнеров системы ИИ и ученых данных за способность выполнять крупномасштабные задания по выводу искусственного интеллекта, особенно за его способность поддерживать графические процессоры.
Оптимизированная версия Ray под названием Rayturbo будет доступна в Google Kubernetes Engine (GKE). Партнерство было обнародовано на конференции Googlenext, которая проходила на этой неделе в Лас -Вегасе.
Партнеры ожидают, что RayTurbo на GKE обработает данные в 4,5 раза быстрее и потребует на 50% меньше узлов по сравнению с лучами с открытым исходным кодом.
По словам Гейба Монроя, вице -президента и генерального менеджера по облачным времени в Google, более глубокая интеграция между этими двумя службами также принесет другие преимущества сообществу ИИ и генеральным менеджером по облачным времени в Google. Пользователи Ray будут получать более быстрое время запуска, высокопроизводительное хранилище для весов модели, доступ к TPU и сильную масштабируемость, сказал он.
По словам Монроя, партнерство должно также облегчить существующим пользователям Ray необходимое оборудование для запуска своих рабочих нагрузок.
«За последние пару лет то, что обработка данных становится все более тяжелой. Именно здесь Рэй действительно сияет»,-сказал Роберт Нишихара, соучредитель AntyScale и один из создателей Apache Ray, в интервью TNS.
Рэй как распределенная ОС для ИИ
Фактически, партнерство хочет установить сочетание Рэя и Кубернета в качестве фактической распределенной операционной системы для рабочих нагрузок искусственного интеллекта.
Инженеры обеих компаний работали над оптимизацией Ray для Kubernetes, смешивая, как Kubernetes масштабируется на уровне кластера с тем, как Ray масштабируется на уровне задачи, в проекте с открытым исходным кодом, который называется Kubberay.
Программное обеспечение может поддерживать большинство рабочих нагрузок ИИ и ML, включая модельную подготовку и обслуживание, пакетный вывод, обучение модели, генеративный вывод ИИ и LLM, а также точную настройку.
Созданный в 2017 году, Рэй может запустить Python параллельно и понимает большинство типов данных и модельных архитектур. Он также может работать на графических процессорах и большинстве других аппаратных ускорителей из коробки, что является отличным преимуществом в пространстве ИИ.
Программное обеспечение «облегчает создание ваших моделей искусственного интеллекта, обучает их и обслуживает их в качестве единой структуры», — сказал генеральный директор AnyScale Кейрти Мелкот.
В AntyScale увеличилось на 300% часов вычислительных работ клиентов, использующих Rayturbo всего за последние три месяца.
Одним из недавних конверта Ray была Amazon, которая выбрала платформу по Apache Spark, более общей структуре обработки данных, для крупномасштабных дел на таблице, причем Ray на 82% более эффективен, чем Spark. Онлайн -гигант также обнаружил, что питонический интерфейс Рэя проще в использовании для своих ученых -данных из -за предвзятости Spark SQL.
Аналогичным образом, OpenAI использует Ray для базовой инфраструктуры и возможностей для масштабного масштаба вычислений и обработки данных, необходимых для обучения и запуска CHATGPT.
Другие крупномасштабные пользователи Ray включают Bytedance, Uber и Pinterest.
Rayturbo на GKE будет доступен в конце этого года на рынке Google Cloud. Вы можете найти больше информации здесь.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Joab Jackson является старшим редактором нового стека, охватывающего облачные нативные вычисления и системы системы. Он сообщил об инфраструктуре и развитии IT более 25 лет, в том числе в IDG и государственных компьютерных новостях. До этого он … читал больше от Джоаба Джексона
