Lightning AI, компания, стоящая за проектом PyTorch Lightning, стремящимся устранить сложности использования PyTorch, сегодня анонсировала несколько новых инструментов и функций в своем коммерческом предложении. Это должно облегчить командам ИИ разработку комплексной платформы PyTorch.
PyTorch Молния
Проект PyTorch Lightning с открытым исходным кодом представляет собой облегченную платформу, которая устраняет большую часть шаблонного процесса работы с PyTorch, а также упрощает структурированное создание проектов PyTorch.
И хотя Lightning лежит в основе того, что делает Lightning AI, платформа компании гораздо шире и включает, среди прочего, облачную среду разработки Lightning Studio для обучения и развертывания моделей, среду ноутбуков на базе Jupyter, рынок графических процессоров и инфраструктурный сервис для хостинга и создания приложений искусственного интеллекта и машинного обучения.
Обновления Lightning AI
Эти обновления включают в себя новый редактор кода ИИ для сред Lightning Studios и Notebooks, а также сред Lightning Environments, которые по сути представляют собой изолированные, но масштабируемые среды для изучения, обучения и масштабирования распределенных рабочих нагрузок ИИ. Обновления также включают поддержку как среды распределенного программирования Meta Monarch для PyTorch, так и Forge, новой среды обучения с подкреплением Meta, которая использует распределенную инфраструктуру Monarch.
«Наша цель — сделать каждого разработчика в мире разработчиком PyTorch», — добавил Уильям Фалькон, генеральный директор Lightning AI и создатель PyTorch Lightning. «Независимо от того, обучаете ли вы модель на одном графическом процессоре или на сотнях, Lightning предоставляет вам один и тот же плотный интерактивный цикл, теперь дополненный искусственным интеллектом и мгновенно подключаемый к нужным вам вычислениям».
(Источник: Lightning AI)
Отличительной особенностью новой версии является редактор кода AI. Вы можете думать об этом как о версии Lightning агента в стиле второго пилота, который теперь встроен в Lightning Studios (ее IDE) и Notebooks (вспомните Jupyter). В нем используются агенты искусственного интеллекта, поддерживаемые моделью, которая была специально обучена в качестве эксперта PyTorch и помогает разработчикам выполнять задачи обучения, вывода и обучения с подкреплением.
Эти агенты также могут использовать API модели Lightning, который обеспечивает доступ к широкому спектру проприетарных и открытых весовых моделей.
Совместное использование среды
Еще одной ключевой особенностью Lightning AI является его среда, которую компания описывает как «автономное интерактивное пространство, где разработчики могут исследовать, обучать и масштабировать обучение с подкреплением и распределенные рабочие нагрузки ИИ».
Новым теперь является то, что разработчики могут делиться этими настройками через то, что компания называет Environments Hub. Это должно значительно облегчить новым разработчикам платформы начало работы над проектом.
(Источник: Lightning AI)
Монарх Меты приходит в Lightning AI
Также в этом выпуске появилась поддержка Monarch, новой среды распределенного программирования Meta, целью которой является сделать работу с кластерами PyTorch такой же простой, как работу с одной машиной.
PyTorch Monarch делает обучение в масштабе кластера интерактивным и постоянным. Разработчики могут проводить эксперименты, отлаживать проблемы и изменять код в режиме реального времени, без необходимости перезапускать или перераспределять свои вычислительные ресурсы.
При интеграции со службой обучения нескольких компьютеров Lightning это позволяет разработчикам масштабироваться, например, от одного ноутбука в Lightning Studio до сотен графических процессоров у нескольких облачных провайдеров, оставаясь при этом в привычных рабочих процессах PyTorch.
(Источник: Мета)
«Monarch дает новое определение тому, что такое распределенное обучение», — сказал Лука Антига, технический директор Lightning и председатель Технического консультативного совета PyTorch Foundation. «Вместе с командой Meta PyTorch мы делаем крупномасштабную разработку такой же интерактивной и гибкой, как локальные эксперименты. Это дает возможность следующему поколению разработчиков ИИ двигаться быстрее, чем когда-либо».
Meta также недавно запустила TorchForge, инфраструктуру обучения с подкреплением (RL) на основе PyTorch, которая находится поверх Monarch. Он позволяет разработчикам писать свои алгоритмы RL в псевдокоде, а выполнением занимается Monarch.
Lightning AI теперь поддерживает TorchForge, а также новый открытый стандарт Meta OpenEnv для упаковки и совместного использования сред RL.
ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Прежде чем присоединиться к The New Stack в качестве старшего редактора по искусственному интеллекту, Фредерик был корпоративным редактором в TechCrunch, где освещал все, от появления облака и первых дней Kubernetes до появления квантовых вычислений…. Подробнее от Фредерика Лардинуа
