Маунтин-Вью, Калифорния. На недавней панельной дискуссии Edge Impulse, посвященной Edge AI, три лидера отрасли поделились своими взглядами на возможности и проблемы развертывания искусственного интеллекта ближе к местам создания данных. В дискуссии, которую модерировал основатель и издатель The New Stack Алекс Уильямс, приняли участие Маргерита Феррагатта, генеральный директор IDT Solution; Шон Варли, главный евангелист Ampere Computing; и Аникет Понкше, руководитель отдела партнерства в области программного обеспечения Canonical.
Вместе они описали экосистему, находящуюся в процессе быстрого перехода — экосистему, в которой стандартизированные платформы, специализированные чипы и подходы, ориентированные на разработчиков, меняют представление о том, как предприятия переносят рабочие нагрузки ИИ из облака на периферию.
Edge AI означает развертывание моделей ИИ непосредственно на устройствах или инфраструктуре, расположенной рядом с местом генерации данных, например на датчиках, камерах, транспортных средствах или промышленных машинах, а не в централизованных облачных центрах обработки данных. Обрабатывая данные локально, Edge AI сокращает задержку, снижает затраты на полосу пропускания, повышает конфиденциальность и позволяет принимать решения в режиме реального времени, даже когда подключение ограничено. Он сочетает в себе достижения в области машинного обучения (МО), специализированные микросхемы и легкие программные платформы для обеспечения интеллектуальных функций на границе сети, обеспечивая работу приложений в таких областях, как беспилотные транспортные средства, промышленная автоматизация, аналитика розничной торговли и интеллектуальные энергетические системы.
Edge AI позволяет принимать решения с малой задержкой там, где это больше всего необходимо, от цеха до производственной линии. Как показывают примеры использования, приведенные ниже в этой истории, периферия — это не только граница для экспериментов — она быстро становится средой, готовой к производству.
Слева направо: Алекс Уильямс, Маргарита Феррагатта, Аникет Понкше и Шон Варли.
Снижение барьеров на пути к передовому ИИ
Не так давно использование искусственного интеллекта на периферии было технически непосильно. Модели были ограничены ограниченными вычислительными ресурсами, а платформы, разработанные для облака, не подходили для встроенных сред. Больше никогда.
С 2017 года инновации в архитектуре микросхем и платформах с открытым исходным кодом резко снизили входной барьер. «Теперь вы можете делать такие вещи, как YOLO (система обнаружения объектов в реальном времени в компьютерном зрении) на очень маленьком устройстве или запускать большие языковые модели. [LLMs] с триллионами параметров процессоров, графических процессоров и ускорителей, — сказал Варли. — Экосистема развивалась по всему стеку — аппаратному обеспечению, операционным системам, платформам и приложениям».
Эта эволюция открыла новые возможности: компьютерное зрение на уровне устройств, аналитику в реальном времени на заводах и даже системы рекомендаций для розничных продавцов с поддержкой периферийных технологий.
Ubuntu на краю
Для Canonical, производителя Ubuntu, развитие Edge AI подтвердило многолетние инвестиции в легкие и безопасные операционные системы. Понкше вспомнил, как Ubuntu Core, запущенная в середине 2010-х годов, предвосхитила потребность в удобных для разработчиков облачных средах на периферии.
«У Edge AI есть определенный набор проблем», — сказал Понкше. «Разработчики встраиваемых систем и облачные разработчики часто говорят на разных языках. Стеки разные, и предприятия все чаще ожидают облачной безопасности даже на небольших устройствах. Роль Ubuntu заключалась в том, чтобы объединить эти миры, чтобы вы могли обучаться в облаке и развертывать один и тот же стек на периферии — за недели, а не кварталы».
Canonical также активно продвигает стандартизацию платформ, сотрудничая с поставщиками микросхем, чтобы обеспечить оптимальную производительность всего оборудования. Результат: разработчики могут сосредоточиться на создании приложений, а не на спорах об интеграции конкретных устройств.
Открытый исходный код и промышленная автоматизация
Феррагата описал миссию IDT как обеспечение аппаратного и программного обеспечения с открытым исходным кодом для промышленной автоматизации — сектора, в котором исторически доминировали проприетарные системы и привязка к поставщику. Вначале IDT обратилась к Arduino, еще до того, как появились готовые к использованию платы. Arduino — это аппаратная и программная платформа с открытым исходным кодом, предназначенная для упрощения создания и создания прототипов электронных проектов.
«Поначалу было трудно», — сказал Феррагата. «В 2016 и 2017 годах Arduino не была промышленным уровнем. Нам приходилось самостоятельно сотрудничать и разрабатывать множество проектов. Но в конце концов появилась Arduino Pro, и мы реализовали такие проекты, как система управления аккумуляторными элементами для производителя роскошных автомобилей, работающую полностью на оборудовании Arduino».
Для Феррагаты урок ясен: открытое оборудование и программное обеспечение могут добиться успеха в средах, которые раньше считались слишком требовательными. А в эпоху, когда фабрики и транспортные средства требуют детерминированного автономного времени реакции, открытые системы с поддержкой периферийных устройств могут снизить зависимость от хрупкой связи и сократить время выхода на рынок.
Золотая лихорадка аппаратного обеспечения
Если открытый исходный код меняет программное обеспечение, то специализированные микросхемы меняют аппаратный уровень. Варли назвал это «золотой лихорадкой» в сфере ИИ-вычислений, от гипермасштабных центров обработки данных до небольших периферийных устройств.
«Каждый уровень требует затрат на электроэнергию», — сказал он. «Независимо от того, используете ли вы искусственный интеллект в стойке с графическими процессорами или на датчике с батарейным питанием, энергопотребление теперь является определяющим ограничением. Оптимизация на каждом уровне — от размера модели до занимаемой площади контейнера — имеет значение».
Стратегия Ampere сосредоточена на создании устойчивых процессоров с высокой производительностью на ватт, начиная от процессоров серверного класса с почти 200 ядрами и заканчивая готовыми к периферийным конфигурациям. Варли предсказал, что вскоре все вычисления будут измеряться энергопотреблением, а не просто абстрактными показателями производительности. Суперзвезды отрасли, такие как бывший генеральный директор Intel Пэт Гелсингер и генеральный директор NVIDIA Дженсен Хуанг, также официально поддерживают эту теорию.
Новые варианты использования
Благодаря более быстрым чипам и оптимизированным платформам предприятия переходят от проверки концепции к производству. Понкше привел примеры реальных развертываний:
- Розничная торговля: Используя стек машинного обучения Canonical, крупный американский ритейлер внедрил систему рекомендаций в режиме реального времени в точках продаж, что повысило коэффициент конверсии на 10%.
- Энергия: Duke Energy применяет Edge AI для балансировки нагрузки в сетях возобновляемых источников энергии в реальном времени, динамически регулируя подачу при колебаниях мощности ветра или солнца.
- Производство и эксплуатация автомобилей: Заводы и транспортные средства становятся периферийными платформами. Работа IDT с системами автоматизации на базе Arduino показывает, как открытое оборудование и искусственный интеллект могут управлять такими процессами, как обработка аккумуляторных элементов для производителей автомобилей класса люкс. Между тем, автомобильный ИИ обещает детерминированное время реакции — миллисекунды имеют значение, когда речь идет о помощи водителю или автономных функциях.
- Интеллектуальные системы видеонаблюдения и безопасности: Edge AI меняет способы захвата и обработки видео: от камер со встроенными нейронными сетями до распределенного анализа в телекоммуникационной инфраструктуре. Вместо отправки необработанных данных в облако системы могут анализировать видео в источнике, отмечать аномалии и отправлять только соответствующие данные в восходящий поток, что сокращает полосу пропускания и обеспечивает более быстрый ответ.
- Промышленная автоматизация и робототехника: Edge AI делает фабрики умнее, а не только быстрее. Роботы теперь могут сотрудничать в режиме реального времени, а координация с малой задержкой осуществляется на периферии. Это снижает зависимость от хрупкой связи, обеспечивает непрерывность работы даже в случае сбоя в сетях и позволяет операторам сосредоточиться на более важных задачах — продвигая переход от Индустрии 4.0 к Индустрии 5.0, где ключевыми факторами станут человекоориентированный дизайн и гибкость.
«Это варианты использования, которые были невозможны пять лет назад», — сказал Понкше. «Теперь они экономически жизнеспособны, потому что мы можем обрабатывать данные близко к источнику, уменьшать задержку и при этом сохранять безопасность в центре внимания».
Модели подходящего размера
Постоянной темой была необходимость «подогнать» модели ИИ под доступное оборудование. Массивные LLM могут потребовать вычислений в масштабе стойки, но более мелкие модели, ориентированные на конкретные задачи, могут эффективно работать на периферии.
«Размер модели определяет, где она может работать», — сказал Варли. «Фреймворки должны быть оптимизированы не только для рабочей нагрузки, но и для конкретной архитектуры чипа. Именно так вы можете быть уверены, что периферийное устройство делает все, что может, а облако обрабатывает только то, что необходимо».
Этот баланс становится все более важным по мере распространения датчиков и устройств. Миллионы конечных точек, генерирующих данные, не могут полностью полагаться на централизованную облачную обработку. Периферийные развертывания предлагают способ снизить затраты и задержки, одновременно повышая отказоустойчивость.
Автомобильная промышленность: медленно, но верно
Поскольку автомобили являются периферийными устройствами, автомобильная промышленность сейчас является полем битвы на периферии, но культурная и техническая инерция по-прежнему замедляет внедрение. Феррагата заметил, что, хотя автопроизводители видят преимущества более быстрого выхода на рынок и детерминированной автономной функциональности, многие из них по-прежнему привязаны к устаревшим запатентованным системам.
«В производстве не всегда можно полагаться на возможность подключения», — сказала она. «Время реакции должно быть детерминированным — иногда вплоть до миллисекунд. Именно здесь Edge AI действительно доказывает свою ценность, но внедрение все еще происходит постепенно».
Тем не менее, поскольку транспортные средства сами по себе становятся передовыми платформами, потребность в масштабной интеграции ИИ растет.
Чего хотят разработчики
Для разработчиков успех Edge AI зависит от простоты и согласованности платформы. Понкше сказал, что стандартизированные стеки — со знакомыми платформами, такими как TensorFlow, MLflow или Kubeflow — позволяют разработчикам тратить время на приложения, а не на отладку загрузки ОС или аппаратных особенностей.
«Разработчикам нужна облачная среда, оптимизированная для периферийного оборудования», — сказал он. «Это то, что ускоряет инновации. Вы получаете те же инструменты, которые используете в облаке, но настроенные для устройства, на котором вы развертываете».
Долгосрочные гарантии поддержки и экосистемное партнерство Canonical призваны укрепить это доверие, помогая разработчикам экспериментировать, не опасаясь, что сегодняшняя работа завтра устареет.
Взгляд в будущее: власть, безопасность и контроль
По завершении сессии каждый участник дискуссии поделился «списком пожеланий» относительно будущего Edge AI:
- Феррагата (IDT): Более легкое внедрение открытых технологий в промышленных условиях, большая гибкость и большее признание того, что системы с открытым исходным кодом достаточно надежны для критически важного производства.
- Варлей (Ампер): Аппаратное обеспечение, обеспечивающее максимальную мощность при минимальном энергопотреблении, достигаемое за счет гетерогенных конструкций, сочетающих ускорение искусственного интеллекта, универсальную обработку, датчики и хранилище во все более меньших по размеру SOC.
- Понкше (Канонический): Платформы, которые дают создателям данных больше контроля — сохраняя обработку ближе к границе для обеспечения суверенитета и монетизации, а также встроенную безопасность.
Особенно важна безопасность. Нарушения, начиная с заводов и заканчивая транспортными средствами, могут парализовать работу на несколько месяцев. Регулирующее давление растет, и предприятия будут требовать, чтобы периферийные развертывания соответствовали тем же стандартам безопасности, что и облака.
Периферийный ИИ в переломный момент
Участники дискуссии согласились: Edge AI больше не является экспериментальной технологией. Он становится основным архитектурным шаблоном для предприятий, которым нужен устойчивый и безопасный искусственный интеллект с малой задержкой за пределами центра обработки данных. Части собираются воедино — стандартизированные платформы ОС, устойчивые процессоры, оптимизированные платформы и готовое к промышленному использованию открытое оборудование.
«Мы упрощаем сложность ИИ, подбирая модели и инфраструктуру правильного размера для периферии», — подвел итог Варли. «В конце концов, энергопотребление станет универсальным эталоном. Именно так мы сможем устойчиво масштабировать ИИ, от гипермасштабного до самого маленького устройства».
ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Крис Дж. Преймсбергер, писатель/редактор нескольких изданий с июня 2021 года, бывший главный редактор eWeek. Он отвечал за освещение издания в течение десятилетия (2011–2021 гг.). За свои 16 лет и более 5000 статей в… Читать далее Криса Дж. Преймсбергера
