Я стал большим поклонником использования локально установленного экземпляра Ollama AI, инструмента для запуска больших языковых моделей (LLMS) на вашем собственном компьютере. Одна из причин этого связана с тем, сколько потребляется AI Energy AI, когда он используется стандартными методами.
Некоторое время я использовал Ollama на своей настольной машине, но обнаружил, что есть несколько причин, почему это не было оптимальным. Во -первых, Оллама потреблял слишком много ресурсов, что привело к замедлению замедления на моем рабочем столе. Во -вторых, я был ограничен только использованием Ollama на своем рабочем столе — если только я не хотел выйти в свой рабочий стол и оттуда запустить ИИ.
Затем я обнаружил лучший метод: я мог бы установить Ollama на сервере, а затем подключиться к нему с любой машины в моей сети.
Я хочу показать вам два разных метода для этого: один из командной строки, а другой — графическим пользовательским интерфейсом (GUI). Это намного проще, чем вы думаете, и требует минимальной конфигурации на конце сервера.
С учетом сказанного, давайте сделаем это.
Установите Ollama
Первое, что вы должны сделать, это установить Ollama на сервере. Я бы посоветовал развернуть экземпляр сервера Ubuntu для этого, потому что мне очень повезло с запуском Ollama на Ubuntu.
С учетом сказанного, войдите в экземпляр сервера Ubuntu и запустите следующую команду для установки Ollama:
curl -fssl | sh 1 curl -fssl | шнур
После завершения установки Ollama была успешно установлена. Затем вы можете вытащить LLM на локальную машину с помощью команды, например:
Ollama Pull Llama3.2 1 Ollama Pull Llama3.2
Или, если вы хотите модель GPT-OSS:
Ollama тянет GPT-OSS 1 Ollama Pull GPT-OSS
Как только вы позаботитесь об этом, вы готовы настроить Ollama для принятия удаленных соединений.
Настроить Ollama для удаленных соединений
Откройте файл конфигурации Ollama Systemd с помощью команды:
sudo nano /etc/systemd/system/ollama.service 1 sudo nano /etc/systemd/system/ollama.service
Под [service] раздел, добавьте следующее:
Environment = «OLLAMA_HOST = 0,0,0,0» 1 среда = «OLLAMA_HOST = 0,0,0,0»
Сохраните и закройте файл.
Вышеприведенная линия открывает Ollama для соединений из любого места. Имейте в виду, что вы захотите убедиться, что ваша локальная сеть в безопасности; В противном случае какой -то плохой актер мог пробраться в вашу локальную сеть и что -то сделать с Олламой.
Если вы хотите иметь возможность получить доступ к вашему экземпляру Ollama из -за пределов локальной сети, вам необходимо настроить свой маршрутизатор для прямого входящего трафика на порту 11434 на сервер хостинга.
Перезагрузить демон SystemCtl с помощью команды:
Sudo SystemCtl Daemon-Reload 1 Sudo SystemCtl Daemon-Reload
Перезапустите Олламу с командой:
Sudo SystemCtl перезапустить Ollama 1 Sudo SystemCtl перезапустить Ollama
Теперь вы готовы подключиться из своей локальной сети.
Подключение через терминал
Откройте окно терминала на локальной машине, к которой вы хотите подключиться к серверу Ollama. На этой машине введите следующую команду:
Ollama_host = ip_adderes ollama Run Llama3.2: Последний 1 Ollama_host = ip_adderes ollama Run Llama3.2: Последний
Где ip_address является IP -адресом сервера Ollama.
Вас должен быть встречен текстовой подсказкой Ollama, где вы можете начать запускать свои собственные запросы. Когда вы закончите, выйдите из подсказки Ollama с:
/пока 1 /пока
Это завершит не только вашу сеанс Ollama, но и удаленное соединение.
Подключение к вашему удаленному экземпляру Ollama через графический интерфейс
Теперь мы подключимся к нашему удаленному экземпляру Ollama через графический интерфейс. Расширенный графический интерфейс, о котором идет речь, потому что он делает это очень легко. Вы должны быть в состоянии подключиться к удаленному экземпляру Ollama через официальный графический интерфейс, но я еще не успел сделать эту работу.
Вместо этого мы используем MSTY, который в любом случае является превосходным графическим интерфейсом. MSTY имеет тонны функций, может работать на всех трех основных платформах (Linux, MacOS и Windows) и можно бесплатно использовать.
Если вы еще не установили MSTY, отправляйтесь на официальный сайт и загрузите версию для вашей операционной системы. Установка MSTY довольно проста, поэтому у вас не должно быть никаких проблем с ним.
С установленным MSTY откройте приложение GUI. В главном окне щелкните значок «Удаленные поставщики моделей» на левой боковой панели, а затем нажмите «Добавить удаленную модели». В полученном окне (рисунок 1) заполните информацию как таковую:
- Поставщик: выберите Ollama Remote из раскрывающегося списка.
- Дайте пульту незабываемое имя.
- Введите конечную точку сервера в форме того, где Server_ip является IP -адресом сервера хостинга Ollama, а порт — это порт, который вы настроили (по умолчанию — 11434).
Рисунок 1: Настройка удаленного сервера Ollama довольно проста.
При запросе нажмите «Модели», выберите желаемую модель (из раскрывающейся модели), а затем нажмите «Добавить».
Использование удаленного экземпляра с MSTY
Вернувшись в главное окно MSTY, запустите новый чат. Из раскрывающегося списка модели (рисунок 2) вы должны увидеть удаленный раздел с добавленной вами моделью.
Рисунок 2: Выбор недавно добавленного удаленного экземпляра Олламы.
Выберите эту запись и введите свой запрос. На этот раз на запрос будет отвечать отдаленный экземпляр Олламы. Поскольку вы запускаете Ollama на сервере, ваши ответы на запросы должны быть быстрее, чем при запуске их непосредственно с рабочего стола.
Теперь я начал использовать Ollama строго с этим типом настройки, чтобы избежать узких мест процессора/оперативной памяти на моих настольных ПК. Я обнаружил, что использует Ollama удаленно, чтобы быть быстрее и надежнее.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Джек Уоллен-это то, что происходит, когда генеральный разум с умом с современным Snark. Джек — искатель истины и писатель слов с квантовым механическим карандашом и разрозненным ударом звука и души. Хотя он проживает … читайте больше от Джека Валлена
