Если вы устали беспокоиться о том, что ваши запросы ИИ или данные, которыми вы в них делитесь, используются либо для обучения больших языковых моделей (LLM), либо для создания вашего профиля, всегда есть локальные варианты ИИ, которые вы можете использовать. Я фактически достиг точки, когда единственный ИИ, который я использую, — локальный. Для меня речь идет не только о конфиденциальности и безопасности, но и об ущербе, который ИИ наносит энергетическим сетям и окружающей среде. Если я смогу внести свой вклад в предотвращение тотального краха, будьте уверены, я это сделаю.
Чаще всего я развертываю локальный ИИ прямо на своей машине. Однако в некоторых случаях я хочу быстро развернуть локальный ИИ на удаленном сервере (либо в моей локальной сети, либо на сервере за ее пределами). Когда возникает такая необходимость, у меня есть два выхода:
- Установите локальный сервис AI так же, как я устанавливаю его на свой рабочий стол.
- Контейнеризируйте это.
Преимущество контейнеризации заключается в том, что локально установленный ИИ изолирован от остальной системы, что дает мне еще большую конфиденциальность. Кроме того, если я хочу остановить локально установленный ИИ, я могу сделать это с помощью быстрой и простой команды Docker.
Я бы даже сказал, что контейнеризация вашего локального ИИ — это самый быстрый и простой способ запустить его и запустить.
Спасибо Докеру.
Правильно, мы собираемся развернуть локальный сервис искусственного интеллекта в виде Docker-контейнера.
Позвольте мне показать вам, как это делается.
Что вам нужно
Прежде всего, вам нужна операционная система, поддерживающая Docker, это может быть Linux, macOS или Windows. Вам также понадобится достаточно места в системе, чтобы загрузить любой LLM, который вы хотите использовать. Наконец, вам понадобится пользователь с правами администратора и сетевое подключение. Я собираюсь продемонстрировать это на Ubuntu Server 24.04.
Установить Докер
Первое, что нам нужно сделать, это установить Docker. Вот как.
Сначала вам нужно добавить официальный ключ Docker GPG с помощью команд:
Далее добавьте необходимый репозиторий Docker с помощью команды:
Установите необходимое программное обеспечение с помощью следующей команды:
Чтобы запустить команду Docker от имени обычного пользователя, вам необходимо добавить этого пользователя в группу Docker. Это сделано для того, чтобы вы могли запускать команду Docker без привилегий sudo. Добавьте своего пользователя в группу Docker с помощью:
Выйдите из системы и войдите снова, чтобы изменения вступили в силу.
Развертывание локального ИИ с помощью Docker
Существует три различных метода развертывания локального ИИ с помощью Docker.
Без графического процессора
Первый метод развертывания предназначен для машины без графического процессора NVIDIA, что означает, что локальный ИИ будет работать исключительно за счет процессора. Для этого используется команда:
Это простой метод.
С графическим процессором NVIDIA
Если на вашем компьютере установлен графический процессор NVIDIA, вам необходимо выполнить несколько шагов.
Первое, что вам нужно сделать, это добавить необходимый репозиторий для NVIDIA Container Toolkit с помощью следующих команд:
Теперь вы можете установить NVIDIA Container Toolkit с помощью:
Затем вам нужно будет настроить Docker для работы с набором инструментов NVIDIA с помощью следующих двух команд:
Теперь вы можете развернуть контейнер Ollama с помощью команды:
С графическим процессором AMD
Если у вас графический процессор AMD, команда:
Доступ к локальному ИИ
Когда все работает, теперь нам нужно получить доступ к подсказке AI. Допустим, вы хотите вытащить Llama 3.2 LLM. Вы можете вытащить его и получить доступ к командной строке с помощью следующей команды:
Приведенная выше команда приведет вас к приглашению Ollama, где вы сможете выполнить свой первый запрос.
И это все, что нужно для развертывания локального ИИ через контейнер Docker.
ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Джек Уоллен — это то, что происходит, когда разум поколения Икс сливается с современными насмешками. Джек — искатель истины и писатель слов квантово-механическим карандашом и бессвязным ритмом звука и души. Хотя он проживает… Подробнее от Джека Уоллена
