Docker Model Runner — это новая особенность настольного компьютера Docker, предназначенную для оптимизации процесса запуска и тестирования моделей искусственного интеллекта локально в экосистеме Docker. В нем рассматриваются давние проблемы, с которыми сталкиваются разработчики при интеграции генеративных моделей ИИ и крупных языков в свои рабочие процессы, такие как фрагментированное инструменты, сложная настройка среды и непоследовательное управление модели.
Внедряя двигатель с выводом с хозяином непосредственно в Docker Desktop, Model Runner устраняет необходимость в контейнерировании каждой рабочей нагрузки искусственного интеллекта, что не только повышает производительность, но и упрощает пользовательский опыт. Двигатель вывода, в настоящее время построенный на вершине llama.cpp, работает как собственный процесс на хост -машине. Этот подход гарантирует, что веса модели загружаются эффективно и что система может в полной мере воспользоваться локальным оборудованием, включая прямое ускорение графического процессора в яблочных кремниевых системах. Это собственное исполнение обходит традиционные накладные расходы, связанные с запущенными моделями внутри контейнеров или виртуальных машин, что приводит к более быстрому выводу и более плавным циклам разработки.
Предварительные условия для Docker Model Runner
Чтобы запустить Docker Model Runner, вам нужно выполнить несколько предпосылок, связанных с вашей средой и оборудованием Docker. Во -первых, вы должны установить Docker Desktop версию 4.41 или более позднее. Docker Model Runner интегрирован как функция в Docker Desktop, поэтому более ранние версии не поддерживают его. Вам также нужна Docker Compose версия 2.35 или более поздней версии, если вы планируете использовать Runner Model с приложениями из нескольких контентаров или составлением файлов.
Аппаратная совместимость имеет важное значение. На Mac Docker Model Runner требует Apple Silicon (M1, M2 или более новый). В Windows вам нужна система с графическим процессором Nvidia, чтобы воспользоваться локальным ускорением. Функция в настоящее время недоступна для Linux или для Mac на основе Intel.
Включение модели бегуна
Если вы запускаете последнюю версию Docker Desktop, вы можете получить доступ к настройкам приборной панели, чтобы включить Model Runner.
Из командной строки запустите следующие команды, чтобы включить то же самое:
Docker Desktop Включение модели-моделей-TCP 12434 1 Docker Desktop Включить модель-TCP 12434
Теперь у вас есть двигатель логирования Llama.cpp, работающий на macOS. Вы можете проверить то же самое с командой ниже:
Статус Docker Model 1 Статус модели Docker
После включения вы можете следовать знакомым командам, чтобы вытащить и запустить модели. Подобно команде списка изображений Docker, вы можете запустить список моделей Docker, чтобы перечислить все загруженные модели.
Потягивание и управление Джеммой LLM
Подобно реестру контейнеров, Docker имеет реестр для генеративных моделей искусственного интеллекта, к которому можно получить доступ на hub.docker.com/u/AI. Модели хранятся в том же формате OCI, что и изображения контейнеров.
Давайте потянем и запустим модель GEMMA3 локально.
Docker Model Pull AI/Gemma3 1 Docker Model Pull AI/Gemma3
После загрузки модели вы можете подтвердить ее доступность со следующей командой:
Список моделей Docker 1 Список моделей Docker
Теперь мы можем использовать команду Curl для доступа к модели через конечную точку API OpenAI.
curl \ -h «Content -type: Application/json» \ -d ‘{«Model»: «AI/Gemma3″, «Сообщения»: [
{
«role»: «system»,
«content»: «You are a helpful assistant.»
},
{
«role»: «user»,
«content»: «Who was the captain of the Indian cricket team during the 1983 World Cup?»
}
]
} ‘123456789101112131415 curl \ -h «Content -type: Application/json» \ -d’ {«Model»: «AI/Gemma3″, «Сообщения»: [ { «role»: «system», «content»: «You are a helpful assistant.» }, { «role»: «user», «content»: «Who was the captain of the Indian cricket team during the 1983 World Cup?» } ] } ‘
Вытягивание и запуск моделей встроенных встроенных моделей от обнимающегося лица
Docker Model Runner поддерживает вытягивание моделей непосредственно из репозитория модели обнимающего лица, при условии, что модели совместимы с llama.cpp. Для этого примера я собираюсь вытащить модель Empeddings Mxbai-Large-V1 от обнимающего лица.
Docker Model Pull hf.co/mixedbread-AI/mxbai-embed-large-v1 1 Docker Model Pult hf.co/mixedbread-AI/mxbai-embed-large-v1
Поскольку это имеет вкус GGUF модели, оптимизированную для процессора, и полностью совместим с двигателем Llama.cpp, Docker успешно загружает модель.
Вы можете проверить его, используя команду, показанную ниже.
curl \ -h «Content-type: Application/json» \ -d ‘{«model»: «hf.co/mixedbread-AI/mxbai-embed-large-v1″, «input»: «Embeddings сделан Easy»}’ 123456 Curl \ -h «Content-typ «hf.co/mixedbread-AI/mxbai-embed-large-v1″, «input»: «Entgeddings сделано легко»} ‘
Вы также можете увидеть модели, загруженные на панели настольной панели Docker.
С помощью модели встраивания текста и LLM, работающей локально, мы можем разработать тряпичные и агентские приложения на нашей машине разработки без использования удаленных двигателей или конечных точек.
Docker Model Runner отмечает значительный прогресс в локальной разработке ИИ, делая его быстрым, простым и интегрированным в экосистеме Docker. Это позволяет разработчикам тянуть, запускать и управлять моделями ИИ непосредственно на своих машинах без сложности традиционной настройки инфраструктуры или накладных расходов на контейнерные выводы. Используя двигатель с выводом хозяина и поддерживая прямое ускорение графического процессора, особенно на Apple Silicon, Model Runner обеспечивает высокую производительность и эффективное использование ресурсов. Модели распространяются в виде артефактов OCI, что позволяет стандартизированная упаковка, управление версиями и бесшовную интеграцию с существующими рабочими процессами Docker. Использование API-интерфейсов OpenAI обеспечивает легкое внедрение и совместимость с существующими приложениями.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Janakiram MSV является основным аналитиком в Janakiram & Associates и адъюнкт -преподавателем Международного института информационных технологий. Он также является квалифицированным Google Cloud Developer, сертифицированным архитектором решений Amazon, сертифицированным разработчиком Amazon, … Подробнее от Janakiram MSV
