ЛАС-ВЕГАС — Сегодня на своей конференции re:Invent в Лас-Вегасе компания AWS объявила о ряде обновлений Amazon Bedrock AgentCore, которые упростят предприятиям создание и развертывание агентов искусственного интеллекта на платформе AWS.
Amazon Bedrock AgentCore — это платформа AWS, ориентированная на разработчиков, для создания, развертывания и управления агентами искусственного интеллекта. Когда он был запущен этим летом, он включал в себя множество основных инструментов, необходимых для создания готовых к работе агентов, включая возможность использовать любую популярную структуру агентов и модель большого языка (LLM) для создания этих агентов, службы аутентификации, функции для предоставления памяти этим агентам и многое другое.
Теперь на re:Invent AWS представляет три основные новые функции, которые решают некоторые проблемы, которые до сих пор удерживают некоторые компании от внедрения агентов.
«В обычном стиле AWS у нас есть несколько примитивов», — сказал мне Дэвид Ричардсон, вице-президент Amazon Bedrock AgentCore в AWS. «Намерение состоит в том, чтобы они могли хорошо работать вместе. На самом деле мы прилагаем еще больше усилий, чтобы это было правдой, чем всегда в случае с AWS. Я знаю, что иногда мы показываем наши швы, но на самом деле мы пытаемся создать целый набор вещей, которые, вероятно, будут необходимы широкому кругу агентов».
Политика
Первая из этих новых услуг — это возможность обеспечения безопасности и соблюдения политик, которая устраняет необходимость в дополнительных средствах защиты, с которыми столкнулись многие компании при запуске агентов в производство. В конце концов, для многих компаний именно недетерминированный характер этих моделей заставляет их нерешительно выходить за рамки пилотного этапа — и это особенно верно, когда речь идет о продуктах, ориентированных на клиента. В конце концов, от атак с быстрым внедрением очень сложно защититься.
Ричардсон объяснил, что в этой новой функции, называемой «Политика», интересно то, что она находится вне агентного цикла и основана на правилах. Компания может использовать это для создания ограждений (на естественном языке), чтобы, например, гарантировать, что, если агент ИИ хочет предложить пользователю кредит на сумму более 100 долларов, агент-человек должен вмешаться и подтвердить этот запрос.
«Я думаю об этом… контролирует ли он то, что агенту разрешено запрашивать инструмент. На низком уровне у вас есть [identity access management]в котором говорится, что это инструменты, которые можно использовать. С помощью Policy у вас есть то, что вы можете попросить инструмент сделать, а затем с помощью наших существующих Bedrock Guardrails вы можете контролировать то, что LLM скажет конечному пользователю», — объяснил Ричардсон.
Он также отметил, что намерение здесь состоит в том, чтобы политика стала частью многоуровневой истории безопасности, которая начинается со среды выполнения агента, расположенной поверх микровиртуальных машин (ВМ), которые обеспечивают изоляцию на уровне сеанса, помимо всех обычных функций безопасности, которые предлагает AWS.
В конце концов, утверждает Ричардсон, предприятия должны иметь возможность доверять своим агентам, если они хотят получить от них реальную выгоду. И в идеале, эта дополнительная система безопасности поможет им добиться цели и позволит больше полагаться на способности агента рассуждать, потому что она будет рядом, когда что-то пойдет не так, как планировалось.
Оценки
Второе новое дополнение — пользовательские оценки. Bedrock AgentCore уже поддерживает традиционные инструменты наблюдения — как те, которые входят в экосистему AWS, такие как CloudWatch и распределенная система отслеживания X-Ray, так и отраслевые стандарты, такие как OpenTelemetry.
Новые инструменты оценки будут включать в себя 13 готовых оценок, которые охватывают многие основы (правильность, верность, полезность, релевантность ответа, краткость, последовательность, следование инструкциям, отказ, вероятность достижения цели, точность выбора инструмента, точность параметров инструмента, контекстную актуальность, вредность, стереотипность).
Разработчики также могут создавать свои собственные оценки. В качестве судьи они будут использовать степень магистра права.
«Я предполагаю, что в конечном итоге — по крайней мере на раннем этапе — будет два способа его использования. Один, вероятно, будет использоваться разработчиком агента во время разработки и доработки, пока они проходят и, возможно, тестируют его самостоятельно или тестируют с некоторыми заранее подготовленными трассировками и смотрят на оценки», — сказал Ричардсон. «А другой будет более долгосрочным со стороны команды эксплуатации, что-то вроде того, как они управляют неагентическим приложением, где в этом мире у вас может быть набор показателей, связанных с задержками и ошибками, теперь у вас могут быть настроения пользователей или показатель точности, который рассчитывается оценщиками».
Память
Третий анонс — это не столько новая функция, сколько дополнение к существующему инструменту памяти Bedrock AgentCore. Инструмент памяти уже предоставляет функции кратковременной и долговременной памяти, но теперь он также предлагает эпизодическую память.
«Идея состоит в том, чтобы настроить его для отдельного пользователя, чтобы вы могли записывать такие вещи, как его предпочтения — например, они предпочитают место у окна, а не место у прохода, или они предпочитают отели стоимостью менее 500 долларов или что-то в этом роде», — сказал Ричардсон. «Мы думаем, что различные дисциплины и режимы памяти станут одним из ключей к созданию эффективных агентов. И поэтому мы хотим начать предлагать несколько возможностей различных типов памяти, которые могут использовать клиенты».
ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Прежде чем присоединиться к The New Stack в качестве старшего редактора по искусственному интеллекту, Фредерик был корпоративным редактором в TechCrunch, где освещал все, от появления облака и первых дней Kubernetes до появления квантовых вычислений…. Подробнее от Фредерика Лардинуа
