AWS спонсировала этот пост.
Что общего между преподавателями, проводящими семинары по глубокому обучению, командами стартапов, создающими совместные среды для обработки данных, и исследователями, нуждающимися в доступе к графическим процессорам? Они застряли в том, что Джонатан Гинеган, старший инженер по программному обеспечению Amazon Web Services, называет «промежуточным состоянием» — им нужно больше, чем может дать ноутбук, но не хватает ресурсов корпоративной облачной инфраструктуры.
Jupyter Deploy, новый интерфейс командной строки (CLI) с открытым исходным кодом, позволяющий развернуть Jupyter в облаке за несколько минут, был запущен на выставке JupyterCon 2025 в этом месяце, чтобы восполнить этот пробел.
В этом выпуске «В дороге» The New Stack Makers Гинеган встретилась в Сан-Диего с главным редактором TNS Хизер Джослин, чтобы обсудить, как этот новый инструмент делает развертывание облака доступным для команд из 10 или менее человек, которым необходимо сотрудничать, но у которых нет выделенных облачных инженеров в штате.
Решение проблемы 15-20 ресурсов
Ученые, работающие с данными, исследователи и преподаватели используют блокноты Jupyter, чтобы экспериментировать с кодом, визуализировать данные и документировать свои выводы. Но при запуске Jupyter на своих ноутбуках они также сталкиваются с ограничениями.
Распределенные команды не могут безопасно предоставить прямой доступ к своему локальному приложению JupyterLab через Интернет, что затрудняет совместную работу. А если их рабочая нагрузка требует больше вычислительных ресурсов, чем предоставляет ноутбук (скажем, ускорители графического процессора для точной настройки моделей глубокого обучения), все становится еще сложнее.
«Мы увидели, что даже для простых установок требуется около 15–20 облачных ресурсов», — сказал Гинеган. «Это не то, что вы настраиваете свою инфраструктуру с помощью пары команд CLI».
Теперь пользователям Jupyter больше не нужно самостоятельно разбираться с сетевыми, авторизационными и облачными компонентами. Jupyter Deploy управляет всем стеком сквозного шифрования — от Docker и Terraform до OAuth2 и Let’s Encrypt — без необходимости предварительной экспертизы в облаке. Во всяком случае, сначала.
«Jupyter Deploy поможет вам начать работу, но это не волшебная палочка, которая решит все ваши проблемы с облаком», — предупредил Гинеган. «Чтобы реализовать это в долгосрочной перспективе, вам в конечном итоге потребуется понять стоящие за этим компоненты».
Развертывание любого варианта использования в любом облаке
Хотя Jupyter Deploy разработан командой AWS AI Open Source, его архитектура намеренно избегает привязки к поставщику.
Команда использовала подход на основе шаблонов, позволяющий пользователям Jupyter создавать комбинацию сервисов, соответствующую их конкретному сценарию использования.
«Базовый шаблон по сути устанавливает экземпляр EC2 в качестве хоста, запускает службы Docker в Docker Compose и использует очень простые образы, которые создаются «на лету», — сказал Гинегань. «Но поскольку это открытый исходный код, сообщество сможет предоставлять шаблоны — по сути, рецепты развертывания — для любого поставщика облачных услуг, метода аутентификации или вычислительной среды, которые им нужны».
Команда, возглавляемая соавтором проекта Jupyter Брайаном Грейнджером, предполагает, что Jupyter Deploy в конечном итоге станет частью самой экосистемы Jupyter, управляемой советом Jupyter и интегрированной в интерфейс командной строки Jupyter.
Посмотрите полный выпуск, чтобы узнать больше о том, как Jupyter Deploy решает проблему управления зависимостями conda и UV, почему команда интегрировала Pixie для научных пакетов и что будет дальше в планах, включая встроенную интеграцию Kubernetes, которая может изменить способ развертывания Jupyter предприятиями в масштабе.
С момента своего создания Amazon Web Services (AWS) была для клиентов лучшим местом для создания и запуска программного обеспечения с открытым исходным кодом в облаке. AWS гордится тем, что поддерживает проекты с открытым исходным кодом, фонды и партнеров. Узнайте больше Последние новости AWS TRENDING STORIES YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одного эпизода. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Мишель Гиноу — бывшая журналистка, ставшая разработчиком программного обеспечения. Она использует обе профессии, чтобы писать на глубокие технические темы, от K8 до Kotlin. Мишель является соавтором книги «Облачная трансформация: практические модели инноваций» от O’Reilly Media и… Читать далее от Мишель Гиноу
