Обучение кодированию миллиарда человек: как JupyterLite масштабирует невозможное

CNCF спонсировал этот пост.

Представьте себе полмиллиона французских старшеклассников, изучающих математику и программирование в своих отдельных браузерах, и все они работают одновременно с одного сервера.

Для Сильвена Корлея, основателя и генерального директора QuantStack и члена руководящего комитета Jupyter, это не является недостижимой целью. Корли и его команда помогли добиться этого, создав JupyterLite, бессерверный дистрибутив JupyterLab, работающий полностью в браузере — включая ядро, без необходимости в Docker.

В эпизоде ​​«В дороге» The New Stack Makers Корли встретился с главным редактором TNS Хизер Джослин на JupyterCon в Сан-Диего, чтобы обсудить, как «случайный стартап» превратился в команду из 30 человек, раздвигающую границы возможностей вычислений на основе браузера, и почему это важно для будущего всемирной технической доступности.

От квантового к квантовому скачку

QuantStack начался в 2016 году как, по словам Корли, «почти случайный стартап» — компания из одного человека, призванная поддерживать его работу в качестве основного разработчика Jupyter после переезда с работы количественного аналитика в Bloomberg в Нью-Йорке во Францию. Время было выбрано идеально: Jupyter получил взрывное распространение, но большинство сопровождающих работали в научных кругах или крупных корпорациях, что создавало огромный спрос на консультационные услуги.

Сегодня QuantStack встроен во множество экосистем ядра помимо Jupyter, включая Conda-Forge и Apache Arrow. Но именно JupyterLite (запущенный членом команды QuantStack Джереми Тулупом в 2021 году) представляет собой наиболее масштабную миссию организации.

«JupyterLite обеспечивает уровень масштабируемости, которого Jupyter никогда раньше не имел», — сказал Корлей, указывая на развертывание французской школьной системы под названием Capytale как на доказательство концепции: зарегистрировано полмиллиона старшеклассников, более 200 000 пользовательских сессий в неделю, и все они, по сути, обслуживаются с одного сервера.

«Все, что есть на этом сервере, — это система управления содержанием учебных материалов и блокнотов; все остальное обслуживается через CDN, а весь код выполняется в браузере конечного пользователя», — сказал он. «Вы можете очень эффективно выполнять простые математические вычисления и программировать на Python в браузере — и вам не нужно создавать образ Docker в облаке в масштабе для миллионов пользователей и требовать гибкого развертывания JupyterHub».

Задача миллиарда пользователей

Но полмиллиона пользователей — это только начало. Видение Корли распространяется на страны с более молодым и большим населением.

«Если вы посмотрите на Нигерию, население которой, по прогнозам, значительно вырастет в 210 миллионов человек, все эти дети будут ходить в школу и, поскольку сейчас XXI век, предположительно научатся программировать», — сказал он. «Неразумно ожидать, что каждый сеанс пользователя будет где-то выполняться в образе Docker. Вероятно, в Нигерии нет инфраструктуры такого масштаба».

Однако низкотехнологичный подход JupyterLite — по сути статическая страница, обслуживаемая из CDN — делает это возможным, причем в глобальном масштабе. «Я действительно думаю, что мы приближаемся к чему-то, что можно было бы использовать для обучения программированию миллиарда человек», — сказал он.

Однако для воплощения этого видения в жизнь необходимо решить проблемы, выходящие за рамки чисто вычислительных задач: соблюдение полных стандартов доступности для пользователей с ограниченными возможностями, совместная работа в режиме реального времени и расширение дистрибутива программного обеспечения Emscripten-Forge с открытым исходным кодом QuantStack для предоставления большего количества пакетов для выполнения через браузер. Это работа, которую корпоративные клиенты обычно не финансируют, требуя грантов и поддержки фонда.

Посмотрите полный выпуск, чтобы узнать больше о зарождении QuantStack в Bloomberg, философии устойчивого роста компании, а также намеках на предстоящее объявление о конвергенции «всех вещей, над которыми работали люди из разных частей стека», в нечто, что Корли описывает как «большое пересечение», за которым стоит следить.

Фонд Cloud Native Computing Foundation (CNCF) размещает критически важные компоненты глобальной технологической инфраструктуры, включая Kubernetes, Prometheus и Envoy. CNCF — это нейтральная площадка для сотрудничества, объединяющая ведущих разработчиков отрасли, конечных пользователей и поставщиков. Узнайте больше Последние новости от CNCF TRENDING STORIES YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Мишель Гиноу — бывшая журналистка, ставшая разработчиком программного обеспечения. Она использует обе профессии, чтобы писать на глубокие технические темы, от K8 до Kotlin. Мишель является соавтором книги «Облачная трансформация: практические модели инноваций» от O’Reilly Media и… Читать далее от Мишель Гиноу

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *