Агент AI быстро появляется в качестве преобразующей силы в технологии, при этом Google ищет термин на 15 000% в последние месяцы. Лидеры отрасли называют это «пятой волной вычислительной», позиционируя его, чтобы принципиально изменить роль предприятий, как они работают и как они взаимодействуют с пользователями.
В то время как такие помощники искусственного интеллекта, как CHATGPT, понимают естественный язык и выполняют задачи по требованию, агенты искусственного интеллекта выводят автоматизацию на следующий уровень, автономно выполняя цели и взаимодействуя с другими системами. В отличие от традиционных систем автоматизации роботизированных процессов (RPA), которые являются статическими и более детерминированными, современные агентские системы являются стохастическими, адаптивными и целеустремленными.
Наиболее значительное преобразование будет происходить, когда программное обеспечение как приложения Service (SAAS) интегрируется с агентскими службами искусственного интеллекта, создавая то, что Gartner называет «экосистемой приложения/AI». В настоящее время менее 1% систем SaaS были дополнены агентскими услугами, но Gartner предсказывает, что треть глобальных SaaS будет с поддержкой в течение следующих четырех лет.
Проблемы масштаба и архитектуры
Последствия масштаба ошеломляют. В текущую эпоху мобильных вычислений крупномасштабные системы обычно обрабатывают около 10000 транзакций в секунду (TPS). В агентскую эпоху, с потенциально десятками помощников искусственного интеллекта, постоянно помогая каждому пользователю, объемы транзакции могут увеличиваться на два порядка до примерно 1 миллиона TPS.
Агентский сдвиг требует фундаментальных архитектурных изменений от транзакционных, ориентированных на разговоры систем. Традиционные приложения SaaS основаны на бизнес -логике, выполняющей операции CRUD против реляционных баз данных. Напротив, агентские услуги поддерживают состояние в самой службе и хранят каждое событие, чтобы отслеживать, как служба достигла своего нынешнего состояния.
Критическая архитектурная задача проистекает из нерянного характера крупных языковых моделей (LLMS). В отличие от баз данных, которые поддерживают состояние, LLM не помнят предыдущих разговоров. Это требует поддержания журнала разговоров, где все предыдущие обмены должны быть включены в каждый новый запрос на предоставление контекста. По мере того, как эти журналы растут, они в конечном итоге достигли пределов мощности токена, требуя тщательных стратегий управления.
Мультимодальные входы и обработка в реальном времени
Агентные системы не ограничиваются текстовыми интерфейсами чата. Они будут все чаще включать датчики Интернета вещей (IoT), метрики, аудио и видео входы, создавая потоки данных в реальном времени, которые должны обрабатывать, дополнены и пересылаются в соответствующие модели, не подавляя систему. Балансирование того, что агентская система обрабатывает в режиме реального времени, в отношении того, что более медленные, более дорогие LLM могут обрабатывать, остается тонкой проблемой.
Соображения производительности и стоимости
Профиль производительности агентских приложений резко отличается от традиционных приложений CRUD. Там, где реляционные базы данных обычно имеют задержки 10–30 миллисекунд, LLM работают при задержек, которые в 100 раз больше. Кроме того, стоимость за транзакцию увеличивается на целых 10 000 раз по сравнению со средами только для базы данных, при этом наиболее сложные LLMS в 850 000 раз дороже на транзакцию, чем вызов базы данных.
Существует некоторый оптимизм в отношении затрат, так как ценообразование LLM постоянно снижалось на 90% в годовом исчислении в течение последних трех лет, сохраняя при этом тот же уровень точности. Эта тенденция предполагает, что экономическая эффективность будет продолжать улучшаться, хотя и не с той же драматической скоростью.
Производственные проблемы
Получение агентских систем в производство остается трудным. Опрос Gartner показал, что 52% организаций не смогли успешно развернуть свои агентские системы. Сбои, связанные с экспериментальными подходами, проблем с качеством данных, проблем с безопасностью, уравнениями затрат, которые не работали, и технологии не подходят для параллелизма, управления памятью или операции 24/7. Многие организации занимают более восьми месяцев, чтобы перейти от проверки концепции к производству.
Стратегии развертывания различаются, когда организации рассматривают облачные нативные платформы (62%), виртуальные частные облака (около одной трети) и самостоятельные среды Kubernetes (около половины). Многие организации рассматривают несколько моделей развертывания одновременно.
Будущее SaaS и агент AI
В то время как агентские услуги искусственного интеллекта будут все чаще увеличивать приложения SaaS, они вряд ли заменит их полностью. Высокая задержка петли агента обработки делает его непригодным для больших объемов взаимодействия пользователей в реальном времени. Это означает, что приложения SaaS по -прежнему должны будут предоставить необходимые интерфейсы API и многопользовательскую параллелизм.
Интерфейсы к SaaS-приложениям станут все более мультимодальными, с большим аудиовизуальным взаимодействием. Конкретные применения могут стать преимущественно (70–80%) агентом, причем отношение варьируется в зависимости от использования.
Для предприятий, рассматривающих агентские услуги, ключевые факторы стоимости включают хостинг LLM (либо через облачные сервисы по цене за токен, либо самостоятельно), требования к вычислению и памяти, хранение векторной базы данных для семантического поиска и самой агентской платформы. Хотя оперативное управление похоже на традиционные системы SaaS, самая большая проблема заключается в обеспечении объяснения и отслеживания по мере развития моделей ИИ.
Когда мы вступаем в эту новую эру, организации должны тщательно сбалансировать соображения производительности, затрат и пользователя для успешного реализации агентских систем ИИ, которые предоставляют свой полный преобразующий потенциал.
Предлагаемый план Akka для агентских услуг
Akka разработала комплексный план для агентских услуг, состоящих из пяти важных элементов. Во-первых, потоковые конечные точки необходимы для обработки мультимодальных данных в реальном времени. Во-вторых, адаптеры подключения к агенту позволяют интегрировать векторные базы данных, LLMS и сторонние системы. В-третьих, организация агента служит ядром, обеспечивая прочные рабочие процессы, которые поддерживают параллельную обработку и подходы человека в петле. В-четвертых, контекстная база данных должна существовать в самой платформе, как в памяти, так и долговерии, чтобы поддерживать историю и поддерживать стиль разговора этих систем. Наконец, управление жизненным циклом обеспечивает механизмы управления, при этом вся система нуждается в безопасности, масштабируемости и наблюдаемости.
Akka дифференцирует свою платформу, рассматривая LLMS как машины, управляемые событиями, а не как пакетные системы. Их адаптеры не являются блокирующими с возможностями обратного давления, что позволяет событиям транслировать из LLMS обратно в систему для рассуждения или в конечных точках. Ключевым преимуществом является то, что услуги API и агентские услуги работают по общему вычислительству, избегая «проблем с островками» и повышают эффективность как для регулярных услуг, так и для дорогих вызовов LLM.
Платформа AKKA направлена на то, чтобы ускорить агентскую доставку приложений ИИ, поскольку эти технологии переходят из отделов науки о данных в основные организации доставки. Есть две общие ловушки: проблема «Остров рабочего процесса», которая снижает производительность и увеличивает затраты, а также «рамочная ловушка», где первоначально простые инструменты сталкиваются с проблемами производства, такими как блокировка параллелизма и задачи управления памятью.
Akka рассматривает это как эволюцию стека, придумывая термин «архитектура A-tier», чтобы описать, как агентские службы увеличивают, а не заменяют существующую архитектуру SaaS. Их реализация включает в себя неблокирующие асинхронные адаптеры LLM, автоматические базы данных в памяти и прочной контексте, систему, управляемую событиями, соответствующую 10 миллионам TPS, удобными для разработчиков инструментов рабочего процесса и возможностей развертывания множества вещей с фильтрацией репликации для требований соответствия.
У Akka есть несколько успешных реализаций, в том числе проект с открытым исходным кодом, который Powers Machine Learning (ML) в таких крупных компаниях, как Amazon и Google; Свигги, который достиг 90% улучшения задержки; и такие стартапы, как Рог, который обеспечивает расширение искусственного интеллекта для видеозвонок, и Coho AI, который, как сообщается, достиг рынка на 75% быстрее с использованием Akka.
Ожидая, Акка видит, как отрасль движется к лучшей интеграции с бизнес -базами данных и систем с помощью структур метаданных, которые позволяют LLM взаимодействовать и принять меры на предприятиях. Их подход позиционирует Akka как самый быстрый способ создания агентских услуг ИИ, которые разводятся, так и сняты.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Tyler Jewell (генеральный директор AKKA)-4-кратный генеральный директор Devex, который ранее возглавлял WSO2, Codenvy (Acq. By Redhat) и компанию промежуточного программного обеспечения (Acq. От Techtarget). Он публикует ландшафт под руководством застройщиков, общедоступную базу данных из 1600 компаний DevOps и их тенденции. Тайлер … Подробнее от Тайлера Джуэлла
