Chip Designer Arm имеет новую платформу Edge AI, оптимизированную для Интернета вещей (IoT), которая расширяет размер моделей искусственного интеллекта, которые могут работать на устройствах Edge, включает в себя мощный новый процессор и позволяет разработчикам легче интегрироваться с популярными рамками ИИ.
Это первая такая платформа, основанная на архитектуре V9 компании и может похвастаться такими цифрами, как восьмикратное улучшение производительности машинного обучения по сравнению с предыдущей платформой ARM и улучшение производительности IoT на 70%.
На этой неделе новая платформа ARM отмечает, по крайней мере, третий шаг игрока чипа, чтобы расширить свое присутствие на краю, где наставление приводит к тому, что это так же много вычислительной мощности, возможностей искусственного интеллекта, инструментов обработки данных и анализа и функций безопасности, где создается большая часть данных сегодня.
Платформа ARM
«Мы можем реализовать потенциал искусственного интеллекта, только если мы перенесем его на физические устройства и окружающую нас окружающую среду», — сказал журналисты Пол Уильямсон, старший вице -президент и генеральный менеджер по линии бизнеса ARM IoT. «В мире IoT это ИИ на грани, который имеет наибольшее значение. Всего несколько лет назад рабочие нагрузки Edge AI были намного проще, чем сегодня. Например, они были сосредоточены на базовом снижении шума или обнаружении аномалий. Но теперь рабочие нагрузки стали намного сложнее, и они пытаются удовлетворить требования гораздо более сложных случаев использования ».
Получение на краю
Intel на этой неделе представила последние дополнения к своей линейке процессоров Xeon 6, включая систему на чипе (SOC), направленную на рабочие нагрузки AI на Edge и в сетях, а также включали интегрированное ускорение, подключение и технологии безопасности, чтобы позволить большему количеству рабочих нагрузок для работы в меньших, более мелких системах.
Со своей стороны, Qualcomm, известная своей линией мощных чипов Snapdragon для смартфонов и ПК, представила новый портфель брендов продукта-Dragonwing-для промышленных и встроенных IoT, сетевых и сотовых вариантов использования, начиная от энергии и коммунальных услуг до розничной торговли, производства, телекоммуникаций и цепочки поставок.
«Ведущие ИИ, высокопроизводительные, низкопроходные вычисления и непревзойденные подключения встроены в пользовательские аппаратные, программные и услуги, предназначенные для скорости, масштабируемости и надежности»,-написал в блоге Дон МакГуайр, старший вице-президент и директор по маркетингу для Qualcomm.
Многое из этого обусловлено внедрением предприятия Edge и IoT, подключенных устройств, которые могут варьироваться от массивных промышленных систем на производственных полах и меньших серверов на отдаленных нефтяных выборах до автономных транспортных средств, небольших датчиков на ветровых мельницах и всего, что между ними. И их число растет с 18 миллиардов в прошлом году до 39,6 млрд. К 2033 году, согласно одной оценке.
Мощный и эффективный
Производители чипов строят более мощные-и эффективные-процессоры, графические процессоры и NPU (единицы нейронной обработки), чтобы работать в небольших и более способных системах от производителей оборудования, чтобы удовлетворить быстро растущий спрос на больший вычислитель, обработку данных и возможности безопасности, где создаются данные, чтобы снизить задержку и затраты, которые поставляются с отправкой огромных аминтов в облако. Теперь модели ИИ и рабочие нагрузки пробиваются к краю, и все это заставляет разработчиков разработать ИИ и другое программное обеспечение для края.
«Мы видим необходимость в более высокой производительности и лучшей эффективности для запуска новейших моделей, рамок и агентов ИИ», — сказал Уильямсон Арм. «Мы видим необходимость улучшения безопасности для защиты высокоценного программного обеспечения, окружающего их. И мы видим необходимость, чтобы разработчики могли обновлять, уточнить, обновлять свое программное обеспечение после того, как оно будет развернуто в этой области ».
В использовании, таких как промышленная автоматизация, умные города, умные дома, «ценность вывода искусственного интеллекта на краю становится все более и более очевидной», — сказал он.
Введите новый процессор Cortex-320
Новая платформа ARM V9 предназначена для решения большей части этого, создавая возможность запускать модели искусственного интеллекта с более чем 1 миллиардами параметров на устройстве. Он включает в себя новый высокоэффективный процессор Designer Cortex-A320 и инструменты Ethos-U85 Edge Accelerator и инструменты повышения производительности, такие как Scalar Vector Extension (SVE) 2 для заданий машинного обучения, поддержка BFLOAT16 для новых типов данных и инструкции по умножению матрицы для более эффективной обработки ИИ.
Архитектура ARMV9.2 также лучше решает проблемы с проблемами безопасности к вычислению на грани. Функции включают аутентификацию указателя (PAC), идентификацию целевой ветви (BTI) и расширение тега памяти (MTE), которые позволяют больше безопасности памяти, целостности потока управления и изоляции программного обеспечения.
Рука вычислить безопасность
«Это не просто постепенный шаг вперед», — сказал Уильямсон. «Он представляет собой фундаментальный сдвиг в том, как мы приближаемся к Edge Computing и обработке ИИ. Мы считаем, что это будет продвигать эту революцию Edge AI на долгие годы ».
Взяв более прямой маршрут
Ключ заключается в том, что последняя платформа устраняет необходимость в микроконтроллере, сказал он, добавив, что решение в прошлом году «сосредоточено на преобразовании выполнения сети. В этом году мы взяли Ethos-U85, и мы обновили диск, чтобы его можно было управлять непосредственно Cortex-A320 без необходимости коры-м в цикле. Это улучшит задержку и позволит партнерам ARM удалить стоимость и сложность использования этих отдельных контроллеров для управления NPU ».
ARM Direct Drive
Память также является улучшением ключей, причем Cortex-A320 добавляет поддержку для более крупной адресуемой памяти, чем платформы Cortex-M. ЦП также более гибкий при обработке нескольких уровней задержки доступа к памяти, что позволяет платформе обрабатывать варианты использования Edge AI, которые имеют более крупные нейронные сети и нуждаются в гибкости программного обеспечения.
«Постоянный спрос на аппаратное обеспечение для эффективного выполнения более крупных и мультимодельных сетей вызывает требования к размеру памяти, поэтому системы с лучшей производительностью доступа к памяти становятся действительно необходимыми для выполнения этих более сложных вариантов использования»,-сказал он.
Разработчики получают варианты
Для разработчиков программного обеспечения гибкость — это слово. ARM в течение многих лет строил платформы разработки IoT, продолжая это в прошлом году с внедрением Kleidi, нацеленного на ускорение разработки ИИ с архитектурой процессора ARM. Первыми предложениями в рамках программы были библиотеки Kleidiai для AI Frameworks и Kleidicv для заданий компьютерного зрения. С платформой V9 появляется Kleidi для IoT. Kleidiai уже интегрирован в IoT-фреймворки, такие как Llama.ccp и Executorch, чтобы ускорить производительность таких моделей, как Llama’s Llama и Microsoft PHI-3.
По данным ARM, он обеспечивает до 70% улучшения в Cortex-320 при запуске крошечных наборов Microsoft Tiny Stories на llama.ccp.
Кроме того, Cortex-A320 может запускать приложения, которые используют операционные системы в реальном времени, такие как Free RTO и Zephyr, сказал Уильямсон. Тем не менее, через Arm Arofile Architecture также также оказывается поддержка Linux и портативности для Android и других богатых OSES.
Разработчики ARM
«Это обеспечивает беспрецедентные уровни гибкости и позволяет вам нацелиться на несколько сегментов рынка, приложений или предложений операционной системы, которые предоставляют наши партнеры и дают вам превосходный выбор, когда вы думаете о дорожных картах для будущих продуктов», — сказал он. «Для разработчиков, работающих над Linux, они могут легко и быстро развернуть эту богатую операционную систему на A320. Это сэкономит им время, деньги и усилия, что приведет к более быстрому выступлению для них и их продукции ».
Разработчики могут принимать приложения Pytorch в средах высокого уровня и развернуть их на краю посредством ускорений в процессоре Cortex-A320.
«Мы также позволили, благодаря реализации прямого подключения нейронного процессора к ядру A-класса, возможность для них впервые напрямую обращаться к той же системе памяти, что и ускоритель искусственного интеллекта для таких всегда на задачах, что также облегчит развитие»,-сказал Уильямсон.
Со всем этим, «вы увидите некоторые интересные, совершенно новые конфигурации от людей, растягивающих границу того, что было бы сделано ранее в микроконтроллере, но также давая разработчикам на основе Linux оптимизировать производительность»,-сказал он.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Джеффри Берт был журналистом более трех десятилетий, последние 20 с лишним лет охватывали технологии. В течение более 16 лет в Eweek и за годы, как в качестве независимого технического журналиста, он рассмотрел все из данных … Подробнее от Джеффри Берта
