Docker сделал свое имя, сделав контейнеры доступными для всех. Теперь компания, которая является синонимом контейнерного разработки, пытается получить большую славу, позволяя разработчикам легко запускать и тестировать AI -модели (LLMS) на своих ПК с запуском Docker Model Runner.
Docker Model Runner-это новая бета-функция в Docker Desktop 4.40 для Apple Silicon-Power Mac. Эта функция позволяет разработчикам запускать LLMS и другие модели искусственного интеллекта на своих ПК. Вы можете получить доступ к нему непосредственно из командной строки. Он также плавно интегрируется в остальную часть экосистемы Docker.
Почему это делает это на местном уровне? Помимо возможности интегрировать его непосредственно в ваш рабочий процесс, Docker Model Runner устраняет необходимость вызовов на интерфейсы внешних облачных приложений (API). Это, в свою очередь, обеспечивает конфиденциальность данных, снижает задержку и снижает затраты.
С помощью Docker Model Runner ваши LLMS упакованы в виде артефактов открытых контейнеров (OCI). Это позволяет вытащить модели из Docker Hub или других реестров и интегрировать их в трубопроводы CI/CD, используя знакомые инструменты. Например, вы можете работать с моделями, используя знакомые команды Docker CLI, такие как «Docker Model Pull», «Docker Model Run» и «Список моделей Docker». Другими словами, модели ИИ являются «первоклассными гражданами» в рабочем процессе Docker, как контейнеры и изображения.
Запуск LLM на локальных машинах уже давно стала проблемой, затрудняя фрагментированные инструменты, проблемы со совместимостью с оборудованием и отключенные рабочие процессы. Разработчики часто совмещают несколько инструментов, настраивают сложные среды и управляют моделями за пределами своих контейнерных настройки, что приводит к трениям и растущим затратам на вывод облачного вывода.
Чтобы вытащить этот трюк, Docker Model Runner использует llama.cpp. Это библиотека C ++ с открытым исходным кодом, которая обеспечивает эффективное развертывание и вывод LLM без графических процессоров. Действительно, Крис Велтонс, известный инженер-программист, сообщает, что он смог успешно портировать Llama.cpp в Windows XP и запустить модель 360 м на ноутбуке эпохи 2008 года. Короче говоря, вы можете выполнять реальную работу над своим рабочим ПК с этими моделями.
Llama.cpp, как следует из названия, хорошо работает с Llama Llams Meta AI. Тем не менее, это не ограничивается моделями LLAMA. Благодаря использованию API-совместимого OpenAI, он может работать с другими моделями. Docker уже предоставил куриный список самых популярных LLM, которые наиболее подходят для местных вариантов использования. Самый простой способ начать — это проверить репозиторий AI Docker Hub.
В настоящее время уже более десятка LLM, но больше уже в пути. Docker сотрудничает с лидерами ИИ, такими как Google, Huggingface, Qualcomm, Spring AI, VMware Tanzu и Dagger. Эти сотрудничества приводят к широкому выбору высококачественных, оптимизированных моделей и инструментов непосредственно в рабочий процесс Docker, что облегчает разработчикам экспериментировать и создавать приложения с AI на местном уровне.
Заглядывая в будущее, Docker планирует расширить поддержку на дополнительные платформы, включая Windows с ускорением графического процессора. Кроме того, план состоит в том, чтобы позволить разработчикам публиковать пользовательские модели с более глубокой интеграцией в более широкую экосистему ИИ. Компания предполагает будущее, в котором работа, совместное использование и развертывание моделей искусственного интеллекта так же легко и стандартизировано, как работа с контейнерами сегодня.
Но подожди! Есть еще.
Протокол контекста модели
Docker также интегрирует протокол контекста модели (MCP). Это открытый стандарт, предназначенный для оптимизации соединения между агентами ИИ и источниками данных, инструментами и прикладными средами.
Первоначально разработанный антропическим, MCP быстро стал де-факто стандартом-иногда описываемым как «USB-C для ИИ»-для подключения помощников искусственного интеллекта с широким спектром ресурсов, включая базы данных, API, облачные сервисы и локальные файловые системы. Предоставляя универсальный протокол, MCP устраняет необходимость в пользовательских разъемах для каждого нового инструмента или источника данных, что значительно облегчает разработчикам создавать, развернуть и масштабировать агенты искусственного интеллекта, которые могут выполнять значимые, богатые контекстом задачи в разных средах.
Docker приносит его через каталог Docker MCP. Этот каталог Docker Hub обеспечивает централизованный способ обнаружить, запустить и управлять более чем 100 серверами MCP от ведущих поставщиков, включая Grafana Labs, Kong, Neo4j, Pulumi, Heroku и Elasticsearch. Разработчики теперь могут просмотреть и запускать инструменты с поддержкой MCP так же легко, как и традиционные контейнерные услуги.
Компания также предоставляет Docker MCP Toolkit, который привносит управление корпоративным классом и безопасность для рабочих процессов MCP. Он включает в себя такие функции, как управление реестрами и доступом к изображениям, обработку секретов и интеграцию OAuth, что облегчает командам безопасную публикацию, управление и подключение серверов MCP в их существующих средах Docker.
Смысл всего этого, согласно заявлению нового президента Docker и COO Mark Cavage, заключается в том, что «построение функциональных приложений искусственного интеллекта не должно чувствовать себя радикально отличным от создания любого другого приложения. Разработчики хотят интегрировать ИИ в свои существующие рабочие процессы-строить локально, тестировать и с уверенностью добыча. Приносит это все вместе в одном месте, доверенный, удобный для разработчиков опыт в Docker Hub, где инструменты проверены, безопасны и легко запускаться ».
Итак, если вы хотите сделать AI частью вашего рабочего процесса без крови, пота и слез, и вы уже используете Docker для своего рабочего процесса разработки, этот новый набор инструментов ИИ выглядит как верный победитель.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Стивен Дж. Воган-Николс, известный как SJVN, пишет о технологиях и технологии, так как CP/M-80 был передовой операционной системой ПК, 300BPS был быстрым подключением к Интернету, WordStar был современным текстовым процессором, и нам понравилось. Подробнее от Стивена Дж. Вогана-Николса
