С версией Windows 11 24H2, Microsoft позволила получить доступ к блоку нейронной обработки (NPU) на Copilot+ ПК. Хотя Copilot+ PCS поддерживает процессоры Intel Core Ultra 200V и AMD Ryzen AI 300 серии, начальные модели Copilot+ pc поставляются с процессорами Qualcomm Snapdragon X Elite и Snapdragon X Plus. Эти обработчики на основе ARM оснащены передовыми подразделениями нейронной обработки (NPU), способные выполнять более 40 триллионов операций в секунду (TOPS).
Недавно Microsoft позволила разработчикам загружать и выполнять модели фундамента локально, которые оптимизированы для Copilot+ pc. Microsoft представила модели DeepSeek R1, в частности, дистиллированные версии 7B и 14B, которые оптимизированы для выполнения на устройствах, оснащенных новейшими единицами нейронной обработки.
Запуск моделей DeepSeek на Copilot+ PCS представляет собой значительный прогресс в местных возможностях обработки искусственного интеллекта.
Модели DeepSeek на Copilot+ ПК
Доступность модели: Модели DeepSeek R1, в том числе начальная версия 1,5B, теперь доступны через литейный завод Azure AI. Большие модели 7b и 14b были разработаны для эффективного запуска на Copilot+ PCS, работающих на процессорах Qualcomm Snapdragon X, при поддержке процессоров Intel Core Ultra 200V и AMD Ryzen ожидаются скоро в ближайшее время.
Эффективность и производительность: Эти дистиллированные модели адаптированы для обработки с низким батом, что позволяет им эффективно работать на оборудовании потребительского уровня, не полагаясь на облачные ресурсы. Это приводит к более быстрому времени выполнения для таких задач, как обработка естественного языка, обеспечение ответов в реальном времени и улучшенного опыта пользователей.
Оптимизация NPU: NPU в Copilot+ ПК спроектированы для эффективной обработки рабочих нагрузок ИИ. Это позволяет устойчивой вычислительной мощности ИИ при минимизации воздействия на срок службы батареи и тепловые характеристики, освобождая ресурсы ЦП и графического процессора для других задач.
Доступ к разработчику: Разработчики могут легко получить доступ к этим моделям, загрузив расширение Code VS Code. Модели доступны в формате ONNX QDQ, который оптимизирован для развертывания NPU. Этот инструментарий облегчает эксперименты с функциональностью ИИ непосредственно на местных машинах, улучшая рабочие процессы разработки.
Примеры использования: Интеграция моделей DeepSeek позволяет разработчикам создавать более умные приложения в разных доменах, таких как виртуальные помощники, системы распознавания речи и инструменты автоматизации. Из -за локального выполнения этих моделей искусственного интеллекта пользователи могут ожидать повышения производительности в таких задачах, как суммирование документов и управление электронной почтой.
Запуск моделей DeepSeek на Copilot+ ПК
На Copilot+ pc, работающим на процессорах Qualcomm Snapdragon, вы можете запустить DeepSeek через расширение инструментария AI для кода VS. После того, как вы установите инструментарий AI, вы можете получить доступ к каталогу модели Azure, который показывает все модели, доступные для вывода.
Вы можете фильтровать на моделях, специально оптимизированных для NPU.
Я скачал модель DeepSeek R1 Distillidle 1,5B, чтобы работать локально. После того, как файл загружен, вы можете получить к нему доступ с детской площадки.
Теперь вы можете изменить параметры и генерировать ответы из модели.
Загруженные файлы хранятся в каталоге. \ AITK \ Models в вашей домашней папке.
Доступ к модели DeepSeek через API
Расширение инструментария AI имеет конечную точку API, совместимую с OpenAI, открытую на вашем локальном хосте на порту 5272. Вы можете использовать стандартные библиотеки OpenAI для доступа к моделям. Вам просто нужно изменить название модели, которое вы скачали из каталога модели.
Ниже приведен фрагмент кода для программного доступа к модели:
от Openai import openai client = openai (base_url = «api_key =» x » # требуется для API, но не используется) CHAT_COMPLETION = client.chat.completions.create (Сообщения =[
{
«role»: «user»,
«content»: «How much is 2+2?»,
}
]model = «qnn-deepseek-r1-distill-qwen-1.5b»,) print (cat_completion.choices[0].message.content) 123456789101112131415161718 от OpenAI Import Openai Client = openai (base_url = «api_key =» x » # Требуется API, но не используется) CHAT_COMPLETIO[ { «role»: «user», «content»: «How much is 2+2?», } ]model = «qnn-deepseek-r1-distill-qwen-1.5b»,) print (cat_completion.choices[0].message.content)
Доступность моделей DeepSeek для Copilot+ PCS отмечает ключевой момент в расширении возможностей ИИ более доступными и эффективными как для разработчиков, так и для пользователей. Разработчики могут использовать эти модели для изучения и изучения и встраивать их непосредственно в приложения, которые они отправляют.
Благодаря возможности запускать сложные модели рассуждений локально, AIPCS и Copilot+ ПК наразится, чтобы революционизировать, как ИИ используется в повседневных приложениях, объединяя мощность локальных вычислительных моделей и моделей на устройстве.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Janakiram MSV является основным аналитиком в Janakiram & Associates и адъюнкт -преподавателем Международного института информационных технологий. Он также является квалифицированным Google Cloud Developer, сертифицированным архитектором решений Amazon, сертифицированным разработчиком Amazon, … Подробнее от Janakiram MSV
