1 марта Docker начнет обеспечивать соблюдение своих последних ограничений по ставке для вытягивания изображений из Docker Hub. В то время как профессиональные (оплачиваемые) учетные записи по -прежнему будут пользоваться щедрыми загрузками, личные учетные записи будут ограничены 40 тягами в час (10, если они не являются несаутентированными).
Для тех, кто управляет небольшим экспериментальным кластером дома, эти пределы могут быть «главной болезнью», отметил разработчик Филипп Лейн,
Лейн является автором Spegel, проекта с открытым исходным кодом, который приносит обмен файлами-одноранговыми файлами в мир реестров контейнеров.
Spegel может помочь любителям сохранить их, а также помочь крупной организации развернуть свои кластеры рабочей нагрузки Kubernetes гораздо быстрее.
Когда Kubernetes запускается или восстанавливает узел, каждый узел должен вытащить каждую копию изображения рабочей нагрузки из соседнего реестра, будь то облако, публичное или индивидуально самостоятельно.
Spegel устанавливает распределенный реестр по каждому узлу, поэтому каждый уникальный контейнер может быть загружен один раз, а затем скопирован на другие узлы.
Представляя технологию в выступлении на Fosdem в начале этого месяца, создатель Spegel разместил тесты, показывающие, что время поиска изображений может быть улучшено на 82%.
Этот подход также ускоряет время запуска рабочей нагрузки и уменьшает сетевой трафик.
Локальный реестр Cluster Cluster Cluster
Облачное узкое место на местном токе распределяет рабочие нагрузки во время выполнения.
Но операции могут быть сорваны ограничениями по ставке реестра изображений или полностью остановиться, если реестр выйдет в автономном режиме. Или изображения могут исчезнуть, например, что произошло с набережной Red Hat недавно.
«Нет смысла иметь кластер, который может масштабироваться до 10000 узлов, если вы не можете снять изображение для приложения, которое вы фактически запускаете», — сказал Лейн аудитории.
Если изображение чрезвычайно большое, только время в сети может замедлить ситуацию, вдвойне, чтобы ограничить тариф: Docker Hub, например, ограничивает скорость загрузки до 100 МБ/с для изображений.
Как BitTorrent, но для контейнеров
Лейн вспомнил презентацию Meetup за 2018 год или около того от системного администратора о том, как его организация проработала через отключение центра Docker во время резкого увеличения собственного пользователя. Операции не могли масштабироваться, потому что это зависело от нескольких критических изображений из концентратора временного отделения.
Решение SysAdmin заключалось в том, чтобы SSH в старый узел, затем экспорт изображения, а затем в основном непрерывно копирует изображения в новые узлы, когда они вступили в линию.
«Это сработало, даже если это было очень грязное решение», — сказал Лейн.
Обходной путь вызвал идею с Лэйн: «Почему мы не всегда делаем это?»
Таким образом, началась работа над Spegel, OCI-законным регистром только для чтения.
По словам Лейна, который также был одним из основных разработчиков инструмента Flux Gitops, реализация оказалась на удивление простой.
Изображение на самом деле является коллекцией нескольких компонентов. На верхнем уровне находится индекс всех других включенных компонентов. В формате JSON он ссылается на все остальные слои с их дайджестом или криптографическим хэшем самого контента.
В интерфейсе открытого контейнера Foundation Foundation (OCI) указывается, как структурированы контейнеры. Спецификация распределения OCI описывает, как клиенты вытаскивают изображения из реестра, который выполняется слоем по слою.
Spegel позволяет узлам Kubernetes вытаскивать изображения друг от друга. Если ни один из узлов не имеет изображения, запросы возвращаются в исходный реестр.
Одним из преимуществ, которое предоставляет формат OCI Containerd, является то, что он хранит несжатые слои изображений на диске. Имена файлов — хэши.
«Это означает, что Spegel может сконструировать контейнер. Он не делает какого -либо типа хранилища. Таким образом, роль реестра состоит в том, чтобы служить прокси. «Там вообще нет государства», — сказал он.
Каждый узел имеет реестр OCI, который сначала смотрит на локальном хосте для слоя. Если кто -то не найден, Спегель перехватывает запрос и смотрит на другие узлы для запрошенного слоя. Если кто -то найден, это прокси -прокси -запрос.
Speqel имеет три компонента: реестр, компонент маршрутизации и обнаружения и рекламный механизм.
«Это немного похоже на BitTorrent», — сказал он. «Это куча клиентов, рекламирующих других клиентов».
Реестр рассматривает весь контент на диске, а затем рекламирует его в распределенной хеш -таблице. Программное обеспечение использует реализацию GO широко используемой хеш -таблицы Kademlia. Когда вступает запрос, Спегель просто смотрит на хэш -таблицу.
Новые пределы ставки Docker
Сегодня большинство пользователей Spegel, как правило, являются энтузиастами лаборатории дома, которые надеются избежать ограничения ставки в центре Docker, сказал Лейн. Другие виды использования могут быть в развертывании воздуха или запуска очень большие модели машинного обучения, которые скопировали бы гораздо быстрее, если он будет выполнен на местном уровне.
И когда новые пределы ставки Docker Hub, даже те, у кого профессиональные учетные записи, могут захотеть рассмотреть кэширование.
Новые ограничения ставки в центре докера по состоянию на 1 марта.
Совместимость Спегеля с облачными поставщиками варьируется в зависимости от их соблюдения спецификаций OCI. SPGEL отлично работает с сервисом Amazon Kubernetes, в некоторой степени с сервисом Azure Kubernetes и до сих пор, совсем не с двигателем Google Kubernetes.
Это также прекрасно работает с Minikube. На самом деле он встроен в распределения K3S и RKE2 Kubernetes.
В конечном счете, Spegel может помочь нам переосмыслить, как распределение изображений может пройти через силу обмена одноранговым пиром, что принесет пользу любителям и самым крупным пользователям Kubernetes.
Аналитик TNS Лоуренс Ххт внес свой вклад в этот пост.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Joab Jackson является старшим редактором нового стека, охватывающего облачные нативные вычисления и системы системы. Он сообщил об инфраструктуре и развитии IT более 25 лет, в том числе в IDG и государственных компьютерных новостях. До этого он … читал больше от Джоаба Джексона
