В Kubecon Europe Nvidia объявила сегодня, что это открытый Sourcing Kai Scheduler, специалист по графическому графическому графическому графическому графическому графическому графическому графическому графическому графическому графическому графику, который был первоначально разработан компанией AI: AI, который Nvidia приобрел в прошлом году. Доступный по лицензии Apache 2.0, KAI Scheduler помогает пользователям оптимизировать распределение ресурсов графического процессора для рабочих нагрузок и машинного обучения в кластерах графических процессоров.
NVIDIA утверждает, что традиционные планировщики ресурсов плохо подходят для управления рабочими нагрузками ИИ, потому что спрос на графические процессора может сильно колебаться, с взрывающими рабочими нагрузками и устойчивыми обучающими моделями, которые могут продлеваться в течение нескольких дней.
Кай Планировщик обещает дать этим командам лучший инструмент для управления этими рабочими нагрузками, среди прочего, динамической корректировки квот и ограничений в режиме реального времени, а также предлагает различные стратегии планирования-планирование бандов, иерархические очереди, борьба с бин, распространение и обмен графическими процессорами-чтобы избежать долгого времени ожидания к поиску группировки.
Обмен графическими процессорами выглядит так, как будто это будет особенно полезная функция здесь. Это позволяет нескольким стручкам использовать один и тот же GPU, например. Стоит отметить, что NVIDIA уже предлагает инструмент под названием «Оператор графического процессора», фреймворк Kubernetes для обеспечения GPU, который также включает в себя функцию определения времени графического процессора. Оператор графического процессора, однако, очень сосредоточен на работе с оборудованием NVIDIA и большими кластерами (включая собственные стойки DGX от NVIDIA), в то время как планировщик KAI более подвержен поставщику, а также поддерживает рабочие нагрузки ИИ на процессорах.
Подход планировщика KAI, кроме обмена графическими процессорами, фокусируется на отдельных графических процессорах и доступной им памяти. То, что разработчики могут зарезервировать здесь, это доля этой памяти. Однако нет изоляции памяти.
По умолчанию Kai Scheduler интегрируется с популярными инструментами искусственного интеллекта и облачными нативными рамками, такими как учебный оператор Kubeflow, Рэй и Арго.
Код и документация для планировщика KAI теперь доступны на GitHub. Довольно несколько других частей пробега: ИИ также уже являются открытым исходным кодом, в том числе несколько связанная среда GPU GPU и инструменты управления кластерами.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Прежде чем присоединиться к новому стеку в качестве старшего редактора для ИИ, Фредерик был редактором предприятия в TechCrunch, где он освещал все, от роста облака и самых ранних дней Kubernetes до появления квантовых вычислений …. Подробнее от Frederic Lardinois
