Развернуть модели DeepSeek-R1 на Amazon Bedrock

Андела спонсировала этот пост.

DeepSeek-это продвинутая инициатива по исследованию ИИ, разработанная современные современные модели с открытым исходным кодом (LLMS), которые конкурируют с фундаментальными проприетарными моделями, такими как серия GPT Openai и BERT Google. Серия DeepSeek-R1 представляет собой высокопроизводительную модель с открытым исходным кодом, обученную DeepSeek для обеспечения оптимизированных возможностей вывода, что делает ее мощным инструментом для различных приложений, включая понимание естественного языка, генерацию кода и научные исследования.

По мере расширения внедрения искусственного интеллекта, эффективное развертывание таких моделей имеет решающее значение для предприятий и разработчиков. Одной из основных проблем в развертывании ИИ является необходимость масштабируемой инфраструктуры, которая может справиться с интенсивными вычислительными требованиями, обеспечивая при этом надежный и быстрый вывод. Amazon Bedrock появляется как решение, предлагая полностью управляемый сервис, который позволяет разработчикам интегрировать модели фундамента в свои приложения без бремени управления базовой инфраструктурой.

Используя индивидуальный импорт модели Bedrock, разработчики могут привлечь предварительные модели, такие как DeepSeek-R1 в безопасную, высокодоступную и низкую задержку с оптимизированной средой для производственных рабочих нагрузок. Это также позволяет организациям использовать власть ИИ, получая выгоду от безопасности, масштабируемости и эффективности затрат Amazon Web Services.

Этот учебник поможет вам через сквозное процесс развертывания модели DeepSeek-R1 Distill Llama на Amazon Bedrock, от загрузки модели и подготовки ее к развертыванию, чтобы привлечь ее через API API AWS. Он также будет изучать методы оптимизации, лучшие практики безопасности и стратегии мониторинга эффективности, чтобы обеспечить плавное и эффективное развертывание искусственного интеллекта.

К концу этого руководства у вас будет полностью работающая модель DeepSeek-R1, работающая на коренной пород Amazon, способной предоставлять высококачественные ответы для различных приложений, управляемых искусственным интеллектом.

Предварительные условия

Перед началом работы убедитесь, что у вас есть следующее:

Активная учетная запись Amazon Web Services (AWS) с разрешением доступа к Amazon S3 и Amazon Bedrock Services.

Совместимость модели. Amazon Bedrock поддерживает такие архитектуры, как Llama 2, что делает его совместимым с моделями DeepSeek-R1 Distill.

Обнимание модельных файлов лица, в том числе:

• Веса модели (формат.
• Файл конфигурации (config.json)
• Файлы токенизатора (tokenizer_config.json, tokenizer.json, tokenizer.model)

Доступное ведро Amazon S3 для хранения модельных файлов.

Роли и политики управления инфраструктурой и доступом (IAM), настроенные для разрешения развертывания модели и доступа к API.

При этом вы можете перейти к развертыванию.

Шаг 1: Установите необходимые зависимости

Во -первых, установите необходимые зависимости в вашей среде Python:

PIP установить haggingface_hub boto3 1 pip install guggingface_hub boto3

Это устанавливает концентратор обнимающего лица для поиска моделей и Boto3 для взаимодействия AWS.

Шаг 2: Загрузите модель DeepSeek-R1

Далее загрузите модель DeepSeek-R1 Distill Llama от обнимающего лица:

от uggingface_hub import snapshot_download # define model id model_id = «deepseek-AI/deepseek-r1-distill-llama-8b» # Загрузите модель в локальный каталог local_dir = snapshot_download (Repo_id = model_id, local_dir = «deepseek-r1-distill-lllama-8b») 12345791111111111111110 гг. snapshot_download # определить модель idmodel_id = «deepseek-AI/deepseek-r1-distill-llama-8b» # Загрузите модель в локальную directorocal_dir = snapshot_download (repo_id = model_id, local_dir = «deepseek-r1-distill-llama-8b»)

Эта команда приносит модель файлов и хранит их в указанном каталоге.

Шаг 3: Загрузите файлы модели на Amazon S3

Чтобы развернуть на Amazon Bedrock, загрузите файлы модели в ковше Amazon S3:

Импорт Boto3 Import OS # # инициализировать S3 Client S3_Client = boto3.client (‘s3’, region_name = «US-EAST-1») # Определите имя S3 Bucket_Name = «your-s3-bucket-name» # Укажите локальный каталог локальный os.walk(local_directory): for file in files: local_path = os.path.join(root, file) s3_key = os.path.relpath(local_path, local_directory) s3_client.upload_file(local_path, bucket_name, s3_key) 123456789101112131415161718 import Boto3import OS # инициализировать S3 Clients3_Client = boto3.client (‘s3’, region_name = ‘us-east-1’) # define s3 bucket namebucket_name = ‘your-s3-bucket-name’ # werpific local directorylocal_directory = ‘deepseek-r1-distill-llmam OS.Walk (local_directory): для файла в файлах: local_path = os.path.join (root, file) s3_key = os.path.relpath (local_path, local_directory) s3_client.upload_file (local_path, bucket_name, s3_key)

Замените свое имя S3-Bucket на имя вашего фактического имени S3.

Шаг 4: Импортируйте модель в коренную породу Amazon

Как только модель будет в S3, импортируйте ее в Bedrock Amazon:

Перейдите к Amazon Bedrock в консоли AWS.

Выбирать Пользовательские модели → Модель импортаПолем

Введите S3 URI (например, S3: // your-s3-bucket-name/deepseek-r1-distill-llama-8b/).

Подтвердите и запустите процесс импорта.

Amazon Bedrock обработает и проверяет модель для развертывания.

Шаг 5: развернуть и вызвать модель

После импорта используйте API Bendrock, чтобы вызвать модель:

Импорт Boto3 Import json # инициализировать Bedrock Client Bedrock_client = boto3.client (‘bedrock’, region_name = «US-EAST-1») # Определите модель идентификатор MODEL_ID = ‘your-model-id’ # определить ввод input_data = {‘rampt’: ‘Объясните значение трансформаторов в nlp.’, ‘max_tok = {inmode’: ‘Объясните значение Transformers in nlp.’, ‘max_tok’: 150 # # # # # # # # # # # # bedrock_client.invoke_model (modelid = model_id, contentype = «application/json», body = json.dumps (input_data)) # output output = json.loads (ответ[‘Body’].Read ()) print (output) 12345678910111213141516171819202122232425 Импорт бото 3IMPORT json # инициализировать коренной коренной корен recamentInput_data = {‘rample’: ‘Объясните значимость трансформаторов в nlp.’, ‘max_tokens’: 150} # invoke modelresponse = bedrock_client.invoke_model (modelid = model_id, contentType = ‘application/json’, body = json.dumps (input_data) # responsectu[‘Body’].read ()) print (вывод)

Замените свой идентификатор модели на идентификатор модели.

Оптимизация развертывания модели

После того, как вы развернули модель на коренной породе, рассмотрите следующие способы ее оптимизации.

Включить автоматическое масштаб: Настроить AutoScaling для динамического распределения вычислительных ресурсов на основе трафика для эффективного использования ресурсов.

Мониторинг модели модели: Используйте AWS CloudWatch для регистрации метриков, таких как задержка вывода и объемы запроса.

Безопасные конечные точки API: Убедитесь, что ваши конечные точки коренной породы будут закреплены с помощью IAM -ролей и разрешения API Gateway.

Оптимизировать затраты: Используйте масштабирование по требованию вместо фиксированного обеспечения, и выберите более дешевые вычислительные экземпляры, если время отклика не является критическим.

Помимо базового развертывания, рассмотрите эти передовые интеграции:

Тонкая настройка: Настройте модель с помощью дополнительных наборов данных, специфичных для домена.

Интеграция API: Разместите модель через API REST для беспрепятственного взаимодействия с веб -или мобильными приложениями.

Заключение

Развертывание DeepSeek-R1 Distill Llama Models на Amazon Bedrock обеспечивает надежное, масштабируемое и эффективное решение для запуска приложений, управляемых AI. Благодаря инфраструктуре без сервера Bedrock вы можете интегрировать и управлять LLM с минимальными усилиями, помогая обеспечить быстрый вывод, масштабируемость и безопасность.

Используя Amazon Bedrock, вы получаете гибкость для развертывания самых современных моделей искусственного интеллекта, получая выгоду от надежной облачной инфраструктуры AWS. Независимо от того, являетесь ли вы ученым для данных, исследователем ИИ или разработчиком, интеграция DeepSeek-R1 в коренную породу позволяет создавать мощные приложения, управляемые искусственным интеллектом, без сложности управления графическими процессорами, конечных точек вывода или операций масштабирования. Для получения более подробной информации изучите официальную документацию Amazon Bedrock. Счастливого здания!

Хотите расширить свои знания об ИИ? Откройте для себя Openai со структурированными выходами! Изучите пошаговое руководство Анделы, предназначенное для разработчиков, чтобы оптимизировать процессы, повысить точность и оптимизировать результаты.

Andela предоставляет крупнейший в мире частный рынок для глобального отдаленного технологического таланта, основанного на платформе с AI для управления полным жизненным циклом найма контракта. Andela помогает компаниям масштабировать команды и быстрее реализовать проекты через специализированные области: App Engineering, AI, облако, данные и аналитика. Узнайте больше последних из Andela Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Oladimeji Sowole является членом Andela Talent Network, частного рынка для глобальных технологических талантов. Ученый из данных и аналитик данных с более чем 6 -летним профессиональным опытом создания визуализаций данных с различными инструментами и прогнозирующими моделями … Подробнее от Oladimeji Sowole