Организаторы следят за тем, чтобы агенты ИИ не работали в вакууме; они организуют компоненты, процессы и обмен информацией для выполнения работы. Понимание оркестраторов даст разработчикам более детальный контроль над эффективностью агентов ИИ.
«Понимание инструментов, которые вы можете использовать для решения проблем, всегда является полезным набором навыков», — сказал Закари Ханиф, руководитель отдела искусственного интеллекта, машинного обучения и данных в Twilio.
Это включает в себя поиск наиболее эффективной модели ИИ для конкретных рабочих нагрузок, точную настройку подсказок на уровне системы, а также установку правильного контекста и ограждений.
Прежде всего, оркестраторы следят за тем, чтобы агенты соответствовали ожиданиям по производительности и затратам. Поскольку безопасность ИИ является серьезной проблемой, оркестраторы также отражают угрозы.
«Это останавливает быстрое внедрение или ругань или что-то еще, что вы хотите запретить», — сказал Майкл Аткиссон, директор по управлению продуктами искусственного интеллекта в Epicor, компании, занимающейся корпоративным программным обеспечением.
«Любой процесс, включая ИИ, определенно зависит от значительной оркестровки».
– Закари Ханиф, Twilio
Ханиф сравнил оркестраторов с реальным примером McDonald’s, который «освоил концепцию оркестровки» на своей кухне.
На кухне Макдональдса все скоординировано — от планировки до размеров машин, пространства, количества людей и того, как все работает в рамках бизнес-ограничений.
Это распространяется на сборку сэндвича, приготовление картофеля фри, правильную упаковку заказа и его доставку в течение определенного периода времени.
«Любой процесс, включая ИИ, определенно зависит от значительной степени координации», — сказал Ханиф.
Необходимость повышения квалификации в области управления ИИ
Оркестровка агентов ИИ впишется в традиционную разработку программного обеспечения с некоторыми изменениями в типичном конвейере CI/CD.
«Мы будем жить в мире, где традиционные и базовые системы все еще существуют, но появляются новые вещи», — сказал Джинсук Хан, директор по стратегии и агентному искусственному интеллекту в Genpact, консультант по технологиям.
Управление агентами ИИ напрямую связано с автоматизацией сложных бизнес-процессов, и разработчикам необходимо адаптироваться к этим новым областям. Это включает в себя понимание рабочих процессов и управление бизнес-процессами.
«Я говорил нашим агентам, что, послушайте, вы — последнее поколение менеджеров, которые управляют только людьми, и вы — первое поколение менеджеров, которые управляют людьми и агентами ИИ», — сказал Хан.
Разработчикам также необходимо приобретать знания в предметной области или регулярно общаться с экспертами в данной области. Это аналогично тому, как разработчики обучают агентов ИИ — так называемых цифровых работников — более эффективно выполнять свою работу, что похоже на обучение людей эффективной работе.
Понимание уровней оркестрации и жизненных циклов агентов
Типичный уровень оркестрации включает в себя объединение множества агентов в план действий, которому необходимо следовать, и создание более крупного набора задач. Уровень интерпретирует вопрос, понимает его ограничения и контекст, а затем дает ответ.
Хан определил три слоя для оркестровки:
- Первый уровень определяет, какие шаги необходимо организовать.
- Второй обеспечивает проведение проверок, гарантирующих, что поезд ИИ движется в правильном направлении.
- Третий уровень направлен на предупреждение людей о необходимости принять участие и обеспечить надзор и надзор.
«Пусть машины делают то, что машины делают лучше всего, а люди делают то, что люди умеют лучше всего», — сказал он. «Но как убедиться, что люди будут вставлены? Как происходит передача?»
Genpact реализовал то, что Хан называет ADLC (развитие жизненного цикла агента). Платформа разработки агентов ИИ отслеживает, как агенты ИИ создаются, развертываются, используются и совершенствуются в оркестрованных системах, обеспечивая видимость того, какие агенты вызываются, как часто и нужно ли их настраивать или оптимизировать.
«Со временем вы сможете обучить точно настроенную модель, используя контролируемое обучение с подкреплением», — сказал Хан. Со временем модель изучает бизнес-процесс, делая рабочие процессы ненужными.
Что такое хорошо организованная система искусственного интеллекта?
Хорошо организованная система создает приложения искусственного интеллекта, в которых агенты представляют собой связный набор микросервисов, выполняющих определенные бизнес-процессы с желаемыми результатами.
Ранние версии оркестровки имели ограничения, поскольку модели машинного обучения требовали много времени для обучения очень конкретным, узким и жестким сценариям использования.
Оркестраторы действуют как интеллектуальные координаторы, а не как жесткие механизмы рабочего процесса.
«Это все равно, что запустить ракету на железнодорожные пути», — сказал Аткиссон. «Он не может двигаться ни влево, ни вправо, но очень хорошо движется в одном направлении».
Дальнейшее обучение большим языковым моделям (LLM) в различных областях привело к прорыву: оркестраторы действуют как интеллектуальные координаторы, а не как жесткие механизмы рабочих процессов.
«Это сделано для того, чтобы можно было переходить от одного к другому», — сказал Аткиссон. «Это позволило создать своего рода мини-судью в ложе».
Ключевые компоненты и навыки для построения оркестраторов
Ключевой компонент детальной оркестрации включает в себя выбор правильной модели ИИ для агентов, понимание процесса извлечения данных, обеспечение безопасности модели и оперативное проектирование.
Разработчикам необходимо знать Python, поскольку «большая часть инструментов для разработки агентного ИИ создается на Python», — сказал Аткиссон.
Разработчикам необходимо знать, как работают эти модели, и выяснить, где что-то может пойти не так.
«Вам необходимо понимать, как работает преобразователь, как токены превращаются в встраивания и встраивания моделей», — сказал Аткиссон.
Понимание контекста имеет решающее значение для оркестровки, добавил он: «Контекст — это причудливый способ сказать «поиск»».
Это означает, что разработчикам необходимо освоить извлечение данных из векторных баз данных, индексов ключевых слов и гибридного поиска. Модели искусственного интеллекта теперь являются мультимодальными и могут обрабатывать ввод аудио, видео, изображений и текста.
«Векторные базы данных очень хороши для понимания более широкого контекста вещей, но они не очень хороши в очень тонких различиях — таких как имена заголовков столбцов в базе данных», — сказал Аткиссон. Именно здесь разработчикам необходимо извлекать данные, чтобы получить ответы.
Кроме того, есть уровень безопасности, который проводит аудит и определяет доступ к данным. Здесь вставляются ограждения, предотвращающие быстрое внедрение и запрещающие агентам выполнять определенные задачи и несанкционированные выходные данные. Красные флаги будут предполагать участие человека.
«Оценка, наверное, сейчас самый важный навык».
– Майкл Аткиссон, Epicor
Создание хорошего оркестратора требует оценки результатов посредством быстрого проектирования различных моделей. В Microsoft Azure и OpenAI существует множество сред разработки агентов, которые предлагают ряд моделей для оценки и тестирования агентов.
«Оценка, наверное, сейчас самый важный навык», — сказал Аткиссон. «По сути, это модульные тесты для… реальных случаев использования LLM. Вам нужно сочетание… вот подсказка и вот то, как хорошо выглядит результат».
«Вы должны быстро оценить, какой уровень качества вы получаете за эту цену», — продолжил он. «Есть такие компромиссы. Вы смотрите на то, какова ваша стоимость за единицу действия».
Более того, большие языковые модели меняются каждый день, поэтому ответы конкретной модели могут быстро меняться. Типичное обеспечение качества предполагает, что разработчики повторяют подсказки, сравнивая их с моделями ИИ, чтобы определить высочайшее качество ответов.
«Модели все время меняются, верно?» — сказал Аткиссон. «И вдруг все стало намного лучше, и ваш набор тестов стал слишком простым».
Распространение готовых решений для оркестрации
Многие поставщики услуг подключают оркестраторы к своим готовым предложениям агентов ИИ.
В Box есть агенты искусственного интеллекта, которые извлекают контекст и информацию из документов, что помогает компаниям принимать более обоснованные решения. Но для этого требуется то, что технический директор компании Бен Кус назвал «непрерывной оркестровкой».
«Будь то сканирование на предмет обнаружения угроз, классификация, контроль доступа, хранение и уничтожение — все это продолжает работать с нашей новой эпохой приложений искусственного интеллекта», — сказал Кус.
DevRev предоставляет сложную систему искусственного интеллекта с уровнем оркестрации, который извлекает интеллектуальные данные из данных в разрозненных системах. Компания создала граф знаний, который организует доступ к данным в корпоративных системах.
«Также есть поисковая система, механизм SQL и шлюз MCP».
– Дирадж Панди, DevRev
Для приложений, ориентированных на клиента, систему DevRev можно развернуть всего с помощью нескольких строк кода. MCP является частью ее технологии.
«Также есть поисковая система, механизм SQL и шлюз MCP», — сказал Дирадж Панди, генеральный директор DevRev. «Рабочие процессы — это также механизм, который публикуется через [the Model Context Protocol] и могут быть вызваны пользователями через LLM».
По словам Панди, который ранее был генеральным директором Nutanix, технология берет на себя автоматизацию, аннотирует и маркирует их, а затем публикует через протокол MCP.
«Поверх всего этого вы строите, по сути, агентов и весы», — сказал Панди. «Все это обеспечивает тот же стек, который управляет агентами ИИ».
Хорошая оркестровка важна для хорошей реализации ИИ.
Сказал Аткиссон: «Я думаю, что самое важное в ИИ — это во многом светская тенденция».
ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Агам Шах занимается корпоративными ИТ более десяти лет. Помимо машинного обучения, аппаратного обеспечения и чипов, он также интересуется боевыми искусствами и Россией. Подробнее от Агам Шаха
