Старожилы Windows могут вспомнить игры ПК в 80-х и 90-х годах. Игры не будут загружаться в MS-DOS без чего-то столь же рудиментарного, как правильная звуковая карта.
Сегодня с ИИ не отличается от ИИ. Модели не загружаются без нужных программных инструментов, драйверов, нейронных сетей или соответствующего аппаратного обеспечения ПК.
Но Microsoft находится на грани решения этой проблемы с ИИ, так же, как она решила игровую проблему для преобразования Windows 95 в pc Gaming Powerhouse.
Технология DirectX, представленная в Windows 95, была прорывом. Игры просто работали, независимо от оборудования. Разработчики были проданы на простоте использования Windows 95, а DirectX проиграл разработку игры. Теперь ПК игры больше, чем консольные игры.
Точно так же Microsoft надеется, что у нее есть прорыв на руках, чтобы запустить ИИ на ПК с Windows ML 2.0, основным временем выполнения AI, которое сделает модели искусственного интеллекта просто запускать, независимо от аппаратного обеспечения. Эта технология была объявлена на шоу Microsoft Build Developer Show на прошлой неделе.
Windows ML 2.0, который основан на среде выполнения ONNX, является оберткой, которая позволяет разработчикам приносить свои собственные модели ИИ и создавать приложения ИИ для ПК. Средство выполнения может составить модели разумного размера за считанные минуты.
Разработчики могут создавать приложения и не беспокоиться о том, что находится под капотом. Это похоже на версию технологии Microsoft Plug-и Play, в которой оборудование-старое или новое-просто работает.
Предыдущие ошибки и проблемы
Microsoft полагалась на DirectML — потомки DirectX в основном для ускорения графического процессора — для выполнения работы, но это было недостаточно быстро.
Компания обнаружила слабые места в DirectML при разработке функции под названием «Нажмите, чтобы сделать», которая может идентифицировать текст и изображения на экране и принять меры на них.
«Мы пришли к осознанию того, что нам нужно что -то быстрее», — сказал Райан Демопулос, главный менеджер по продуктам в Microsoft, во время сессии сборки.
Windows ML гарантирует, что приложения AI автоматически работают на процессорах и нейронных единицах (NPU) в дополнение к графическим процессорам.
Более пристальный взгляд
Microsoft четко узнала из прошлых проблем с предложением нескольких версий Windows для x86 и ARM.
Экосистема чипов AI еще более разнообразна, с pc Windows 11, поддерживающими чипы ИИ, процессоры и графические процессоры от Intel, AMD и Nvidia.
Вот где вступает Windows ML 2.0. Среда выполнения Windows ML обрабатывает тяжелую работу идентификации аппаратного обеспечения и автоматизации аппаратной поддержки для моделей искусственного интеллекта, а также извлекает максимальную производительность из чипов AI.
Windows ML 2.0 также выясняет зависимости, закупки и управление обновлениями и включает их в монтаторы. Обычно это много ручного труда в фрагментированной среде.
Экспериментальная версия Windows ML 2.0 теперь доступна для разработчиков, чтобы попробовать.
«Это еще не готово или предназначено для производственных приложений. Пожалуйста, не используйте его в своих производственных приложениях», — сказал Демопулос.
«Святой Грааль»
Microsoft обратилась к recubate, который разрабатывает популярное приложение Camo Webcam, чтобы рассмотреть Windows ML.
Windows ML 2.0 встречает видение Reincubate и стремление к тому, чтобы модели искусственного интеллекта просто работали над кремнием без необходимости постоянно квантовать, настраивать, тестировать и развернуть на кучу фреймворков, сказал Aidan Fitzpatrick, генеральный директор Reincubate, заявил новый стек.
«Святой Грааль способен взять одну высокую модель и иметь его JIT-или« просто работать »-плавно в кремниевых окнах с разными драйверами, различными возможностями и разной точностью»,-сказал Фицпатрик.
Фитцпатрик пояснил, что управление версиями Windows и поиск фреймворков и моделей имеет смысл.
«Это облегчит нашу жизнь. Что не так с небольшими, более быстрыми загрузками, установками и обновлениями? Пользователи ценят это», — добавил Фицпатрик.
Новая функция камуфляжа-это регулируемый ретушер в реальном времени, поэтому пользователи могут настраивать появления на встречах, потоках и записях. По словам Фицпатрика, с Windows ML и моделями, включая обнаружение функций и ориентиров, «мы можем заставить его работать».
«У Windows ML есть много существующих, надежных компонентов, таких как ORT (Onnx Runtime), и это сделало его намного более простым, чем это могло бы быть — при принятии его, нам не пришлось взорвать или начинать все сначала», — сказал Фитцпатрик.
«Windows ML должен быть мощным инструментом… помогающим нам двигаться со скоростью инноваций кремния», — сказал Фицпатрик.
Как это работает
Разработчики могут привлечь свои собственные модели через Windows ML Public API. Время выполнения определяет аппаратное обеспечение и управляет и обновляет зависимости.
Модели ИИ общаются с кремнием через «поставщика исполнения», что приводит к необходимой аппаратной поддержке. Слой идентифицирует оборудование и соответственно масштабирует производительность ИИ.
Разработчики не должны создавать несколько копий исполняемых файлов для различных конфигураций аппаратного обеспечения. Microsoft Services обновляется во время выполнения, поэтому разработчики могут сосредоточиться на разработке моделей.
«После того, как ваше приложение будет установлено и инициализирует Windows ML, мы сканируем текущее оборудование и загрузите любых поставщиков выполнения, применимых для этого устройства», — сказал Xioxi Han, старший инженер -программист в Microsoft.
Копать глубже
Xiaoxi Han продемонстрировал, как разработчики могут использовать свои модели искусственного интеллекта на ПК с Windows 11. В демонстрации использовался инструментарий для расширения кода VS для преобразования предварительно выбранной модели Resnet для оценки изображения щенка.
Она инициировала новый инструмент «преобразования» для оптимизации предварительно выбранной модели Resnet в формате ONNX с открытым исходным кодом, оптимизировать ее и квантовать ее. Модели, загруженные с обнимающего лица, также могут быть преобразованы в формат ONNX.
«Если у вас есть модель Pytorch, если вы подготовили ее или если вы получили ее, вы можете преобразовать ее в формат ONNX и запустить ее с помощью Windows ML, чтобы запустить рабочие нагрузки на устройстве»,-сказал Демопулос.
Функция преобразования оптимизирует модели искусственного интеллекта для локального запуска на NPU от Intel, Qualcomm и AMD. Со временем Microsoft избавится от этого шага, поскольку конверсия будет поддерживать все чипы.
Нажав «Запуск» в интерфейсе, преобразовал модель обнимающего лица в формат ONNX. Небольшой модели Resnet потребовалось около 30 секунд, чтобы преобразовать.
Затем Хан создал приложение в Visual Studio, запустив консольный проект. Версия .net и целевая ОС версии Windows были установлены в свойствах проекта. Затем был установлен пакет Nuget под названием Microsoft.AI.windows.machinelearning для пакета времени выполнения Windows ML, который также включает в себя биты ONNX выполнения и API -интерфейсы ML -слоя для поставщиков выполнения.
Nuget автоматически устанавливает зависимости между кодом приложения и средой выполнения Windows ML. Другие пакеты Nuget могут потребоваться для крупных языковых моделей.
Хан создал точку входа для приложения Console, подняв пространство имен и создав класс программы. Она инициализировала среду выполнения ONNX, а затем Windows ML.
Хан также создал инфраструктурный объект, который должен оставаться в живых для процесса приложения. Это сканирует оборудование и загружает соответствующие пакеты «провайдера выполнения». Одним из примеров поставщика выполнения является QNN, который помогает моделям искусственного интеллекта использовать NPU в ноутбуках с помощью чипа Qualcomm Snapdragon.
Затем появилась стандартная запись кода искусственного интеллекта, которая включает настройку пути файла для модели, файл метки и файл изображения. Был настроен и настроен сеанс ONNX для вывода, который включал загрузку изображения и настройку политик на основе типа чипа или энергопотребления.
Запуск вывода подарил обработанный тензор изображения в сеанс ONNX, который проанализировал изображение и возвращал необработанные оценки прогнозирования.
Выходные результаты были обработаны для преобразования их в вероятности, а затем переведены в читаемый человеческий формат, демонстрируя высокую уверенность в том, что изображение действительно было золотым ретривером.
Кодеры могут указать тип производительности, извлеченной из аппаратного обеспечения. Строка с «max_performance» указывает на производительность топ-линии, или «prefend_cpu» или «prefend_npu» или «Prefenge_gpu» может быть для моделей искусственного интеллекта, работающих последовательно в фоновом режиме. Другая инструкция может настроить модели искусственного интеллекта для работы с минимальной скоростью, чтобы сохранить время автономной работы.
«В не слишком устойчивом будущем мы также хотим добавить…« Рабочая нагрузка ». У вас может быть одна рабочая нагрузка с искусственным интеллектом, которая разделена на несколько различных типов процессоров, чтобы получить еще большую производительность », — сказал Демопулос.
Полная кодовая база из демонстрации доступна на GitHub.
Какой API?
Основной слой Windows ML включает API «инициализации» — microsoft.windows.AI.machinelearning — которые поддерживают постоянное время выполнения и загружают необходимые элементы для модели, чтобы общаться с оборудованием.
Основной слой ML включает в себя генеративные API AI, которые предназначены для помощи в генеративных петлях AI для LLM, включая Microsoft.ml.ononxruntimegenai.winml. Уровень API времени выполнения дает разработчикам мелкозернистый контроль над выполнением модели ИИ.
Слои выставлены в Winrt, но Microsoft также предоставляет плоские обертки C с управляемыми прогнозами в качестве удобства, поэтому разработчикам не нужно учиться WinRT.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Агам Шах освещал его более десяти лет. Помимо машинного обучения, оборудования и чипов, он также интересуется боевыми искусствами и Россией. Подробнее от Агама Шаха
