Двигатель Precision: почему агентская тряпка — следующий прыжок Денай

Confluent спонсировал этот пост.

Когда крупная авиакомпания в LLM галлюцинировала дисконтную политику, и авиакомпания должна была почтить ее, инцидент подчеркнул необходимость точных, доверенных систем Genai. Эта история и многие такие же, как это стали предостерегающей историей для разработчиков, создающих с генеративным ИИ.

Сегодня, поскольку все больше предприятий интегрируют генеративные модели в производственные рабочие процессы, системы принятия решений и приложения, ориентированные на клиента, стала не подлежащим обсуждению дифференциатора. Фактически, 74% ИТ -лидеров ожидают использования Геная, чтобы продолжать расти. Без точностью ваши результаты ИИ превращаются в дезинформацию, разрушающие бренды неточности или решения, которые разрушают доверие пользователя.

Высокие результаты означают, что ваш ИИ правильно решает проблемы, что приводит к возврату инвестиций и обеспечивает постоянную, высококачественную производительность. Вот как ваше решение Genai превращается в долгосрочное конкурентное преимущество.

Заземление Геная в реальности: роль и пределы тряпки

Один из подходов к оптимизации, ориентированному на данные для повышения точности,-это поколение поиска-августа (RAG). RAG позволяет LLMS быть более точным в специфических для домена контекстах, просто заземляя ответ в современных знаниях.

• Есть также минусы. Rag Systems имеет свои собственные ограничения и проблемы на этапах поиска, увеличения и генерации:
• Отсутствует или устаревший контент: Если база знаний не хватает охвата — или, что еще хуже, она устарела — модель все еще «заполняет пробелы», с догадками. Это сложная ситуация с высоким риском.
• Отношение сигнал / шум: Ваша модель может изо всех сил пытаться извлечь точную информацию при столкновении с противоречивым или вне темы, что приводит к непоследовательным результатам и разочарованию пользователей.
• Ограниченная память и контекст: Длинные разговоры могут превышать контекстные окна, вызывая дрейф и повторение контекста, что в конечном итоге снижает качество выходных данных по сравнению с многочисленными вовлеченными.
• Грубые ограничения с грубыми чертами и вектором: Короткие контекстные куски могут не предоставить полную картину. Механизмы поиска, такие как приблизительный ближайший сосед (ANN) и K-ближайший сосед (KNN), могут стать шумными и медленными при работе с большими наборами данных, что приводит к более низкому отзыву. Или замедлить свое приложение с задержкой и вычислить затраты.
• Нет петли обратной связи: Классические методологии RAG не проверяют или не повторяют, позволяя распространять ошибки. У них не хватает надежных автоматизированных механизмов самосовершенствования на основе качества выхода.

За пределами базовой тряпки: введите агентскую тряпку

Вы можете попробовать несколько подходов к улучшению извлечения тряпичной ткани, таких как реэнергирование и настройка, специфичная для домена, но агентская тряпичная архитектура продвигает ваше решение дальше. Он превращает статические тряпичные трубопроводы в адаптивные, интеллектуальные системы. Это происходит путем введения одного или нескольких типов специализированных агентов ИИ, которые имеют механизм судьи. Результат таких систем приводит к более качественным результатам с каждым прогоном.

Вместо того, чтобы быть заблокированным на одном растворном решении, агентская тряпка позволяет вашему LLM извлекать из нескольких источников и инструментов данных, предлагая большую гибкость. В отличие от традиционной тряпки, которая реагирует на запросы с минимальной адаптацией, агентская тряпка может изменить свою стратегию поиска в середине полета на основе контекста. Благодаря системам многоагентов, работающих вместе, вы можете создавать масштабируемые системы ИИ, которые могут обрабатывать широкий спектр пользовательских запросов. Эти агенты не просто работают один раз и движутся дальше — они итерации на прошлых результатах. Со временем это повышает точность системы. Кроме того, они не ограничиваются текстом: передовые мультимодальные модели позволяют им обрабатывать изображения, аудио и многое другое.

Например, внутренние оценки Антропика показывают, что «многоагентная система с Claude Opus 4 в качестве ведущего агента и субентов Claude Sonnet 4 превзошла одноагентное Claude Opus 4 на 90,2%».

Другим примером является недавняя исследовательская работа Ragenta Framework. Совместная многоагентная рамка Rag, которая увеличивает верность ответа на 10,72 % по сравнению с стандартными базовыми базами.

Архитектура рагентского фреймворка: (1) Гибридный ретривер выбирает топ-20 документов. (2) Агент-1 генерирует первоначальный ответ. (3) Агент-2 фильтры Вопрос-документ-ответный триплеты. (4) Агент-3 дает окончательный ответ с встроенными цитатами. (5) Агент-4 проверяет полноту, необязательно переформулирует запрос и объединяет оба ответа. Источник.

Одним из высокопоставленных многоагентных дизайнерских рисунков является агент Blackboard Pattern. Этот шаблон используется для решения сложных задач, которые требуют постепенных решений, где агенты асинхронно сотрудничают через общую базу знаний — «Blackboard». Подобно коллегам в быстро меняющемся цифровом рабочем пространстве, каждый агент привносит в стол разные навыки. Некоторые специализируются на получении информации, другие анализируют шаблоны и несколько выводов проверки, прежде чем что -либо будет обмен. Они автономно и асинхронно вносят вклад в общий совет, где разбираются, усовершенствованы и повторно используются.

Как это работает:

• Инициализация: Доска поселена начальными данными.
• Активация агента: Агенты контролируют Правление и вносят свой вклад, когда их опыт соответствует текущему состоянию.
• Итеративное уточнение: Агенты постепенно обновляют плату, пока не появится решение.

Например, в сценарии медицинской диагностики различные агенты будут иметь доступ к различным карманам пациентов и клинических данных, таких как симптомы, результаты лаборатории и историю болезни. Когда пользователь вводит симптомы, соответствующий агент получает соответствующие диагностические возможности и отправляет их на общую доску. Появится диагноз, он транслируется на всех агентов, создавая цикл обратной связи, где каждый агент учится на результате и с течением времени корректирует свои рассуждения. Это помогает агентам стать более эффективными и точными в будущих диагнозах.

5 способов агентской тряпки повышает точность

Вот как агентская тряпка повышает качество выходного качества и фактическую жизнь, превращая статический трубопровод в совместную систему специализированных «микросервисов», которые причиняют, оценивают и адаптируются в режиме реального времени:

Планирование и разложение запросов: Действуя как маршрутизатор запроса в архитектуре микросервисов, агент планирования разбивает сложные запросы на более мелкие, четко определенные задачи. Это позволяет избежать смутного или чрезмерно широкого поиска, обеспечивая то, что правильные факты появляются на ранней стадии и точно. Это обеспечивает эффективность тряпичного трубопровода.

Адаптивная стратегия поиска гибридов: Думайте об этом как о балансировке нагрузки для поиска знаний. В отличие от традиционного векторного поиска, агент по ретривере выбирает лучшую стратегию извлечения: вызовы на основе графиков, VectordB или API, адаптированные для каждой подзадачи.

Доказательства, судя и проверка: Подобно качественным воротам в вашем машинном обучении или конвейерах CI/CD, агент судьи получает полученную информацию для фактической актуальности и внутренней согласованности, прежде чем он выйдет на этап генерации, чтобы эффективно отфильтровать шум.

Саморефлексивный пересмотр: После того, как черновик генерируется, агент пересмотра проверяет общий процесс потока, подтверждая актуальность входного запроса к ответу/выводу. Этот механизм также может быть внешним и зависеть от выхода основного агента.

Долгосрочная память и структурированный поиск: Память можно рассматривать как слой кеша. Агенты памяти хранят отфильтрованные идеи и пользовательские предпочтения из прошлых взаимодействий, а затем используют структурированное увеличение поиска для контекста, когда это необходимо.

Но для того, чтобы эти агенты могли обеспечить точность в масштабе, им нужен постоянный доступ к данным, инструментам и возможности обмениваться информацией между системами, с их выходами, доступными для использования несколькими службами. Это не просто задача ИИ, это проблема инфраструктуры и взаимодействия данных. Прочитайте этот пост в блоге, чтобы погрузиться в то, как может помочь архитектура, управляемая событиями, основанную на платформе потоковой передачи данных.

Confluent, основанная оригинальными создателями Apache Kafka, впервые провели полную платформу потоковой передачи данных, которая транслирует, соединяет, обрабатывает и управляет данными, когда она течет по всему бизнесу. С Confluent любая организация может модернизировать свой бизнес и управлять им в режиме реального времени. Узнайте больше последних из Comfluent Trending Stories YouTube.com/ThenewStack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Ади Полак — опытный инженер программного обеспечения и менеджер People. Большую часть своей профессиональной жизни она работала с данными и машинным обучением для операций и аналитики. Как практикующий по данным, она разработала алгоритмы для решения реальных проблем с использованием … Подробнее от Adi Polak