Агенты искусственного интеллекта создают новый кошмар безопасности для предприятий и стартапов

Распространение ИИ в корпоративные приложения внедряет новый, сложный тип сетевого трафика: автономные агенты искусственного интеллекта, создающие вызовы исходящих API. Этот «агент трафик» представляет собой недостающий уровень в текущей инфраструктуре ИИ, создавая серьезные проблемы в видимости, безопасности и управлении затратами.

По мере того, как агенты искусственного интеллекта выходят за рамки простого генерации текста, чтобы независимо планировать задачи, использование инструментов и получение данных, их исходящие запросы часто обходят традиционный мониторинг инфраструктуры, что приводит к непредсказуемым затратам, уязвимости безопасности и отсутствию контроля.

Этот сценарий напоминает более ранние ключевые моменты в архитектуре программного обеспечения. Повышение веб —API потребовало шлюзы API для управления входящим трафиком, и появление микросервисов привело к тому, что сервисные сетки для управления внутренним общением. В обоих случаях выделенный слой посредничества стал очевидным только по мере масштабирования систем и появились болевые точки.

Агенты ИИ в настоящее время находятся на аналогичной траектории, и их независимая операция в производстве быстро вызывает такие проблемы, как беглые петли вызова API и небезопасенный доступ. Это подчеркивает срочную необходимость в новом уровне инфраструктуры, специально разработанного для управления исходящим трафиком, управляемым ИИ.

Gartner признал этот пробел, представляя «шлюзы ИИ» в своем цикле шумихи в 2024 году для API в качестве зарождающегося решения для управления потреблением ИИ. Моя предыдущая статья для нового стека «AI Gateways: Transform Experimations в масштабируемое производство» изучала эти начальные концепции.

Тем не менее, объем шлюзов AI быстро расширяется за пределы простого управления трафиком LLM, чтобы охватить все агентские коммуникации, включая вызовы, сделанные с помощью появляющихся протоколов, таких как протокол контекста модели Anpropic (MCP) и агент Google Agent2agent (A2A). Эта растущая потребность в новом виде контроля в облачной инфраструктуре разработана специально для управления агентным трафиком.

Новые протоколы, создающие новые уязвимости безопасности предприятия

Традиционно приложения обрабатывали входящий API -трафик. С Agentic AI эта модель инвертируется: компоненты AI в приложениях в настоящее время генерируют вызовы исходящих API для выполнения пользовательских подсказок и выполнения задач. Этот сдвиг создает критические слепые пятна, так как эти инициированные агентом вызовы часто появляются в виде стандартных исходящих HTTP-запросов, обходя существующие шлюзы API.

Задача дополнительно усиливается за счет появления новых протоколов и рамок, предназначенных для облегчения возможностей агента искусственного интеллекта. Это включает в себя не только сами приложения агентов AI, которые могут действовать автономно или в качестве совместных пилотов в рамках рабочих процессов, но и разработчики, использующие инструменты с AI, такие как курсор, Windsurf или Claude Desktop. Эти пилоты разработчиков, когда они подключены к внешним ресурсам с помощью протоколов, таких как MCP, могут неосознанно представлять значительные угрозы организационной безопасности, если их исходящие сообщения не регулируются.

Давайте посмотрим на новые протоколы:

  • Протокол контекста модели (MCP): MCP Antropic является новым стандартом для подключения агентов ИИ к инструментам и данным. Это позволяет разработчикам определять разъемы один раз, что позволяет любому агенту, соответствующему MCP, использовать их. Упрощая интеграцию и обеспечивая модель-алкогольные архитектуры, MCP также вводит новые проблемы безопасности и доверия, особенно в отношении агентов, злоупотребляющих разъемами с чрезмерно широкими разрешениями.
  • Агент2Agent (A2A): Протокол Google A2A фокусируется на обеспечении сотрудничества между несколькими агентами искусственного интеллекта, что позволяет им выполнять задачи и данные друг с другом. При поддержке более сложных рабочих процессов эта межагентная связь увеличивает риск каскадных сбоев или неправильного использования, если не надлежащим образом контролировать.

Эти инновации, одновременно расширяя возможности агентов, также требуют надежного уровня управления для предотвращения непредвиденных последствий и потенциальных широко распространенных сбоев системы. Срочность заключается в установлении точки агрегации, которая может управлять не только вызовами API LLM, но и сложной сетью взаимодействий, включенных в соответствии с такими протоколами, как MCP и A2A, охватывая как приложения агента AI, так и со-пилоты разработчиков.

Чрезмерное агентство: критический риск безопасности каждого предприятия должен решить

Отсутствие выделенного контрольного уровня для агентского трафика представляет несколько значительных рисков:

  • Непредсказуемые расходы: Агенты искусственного интеллекта могут легко переписаться в беглые петли, что приводит к чрезмерному и незамеченному потреблению ресурсов LLM или API. Единый неправильный или неправильный агент может вызвать бюджет, неоднократно вызывая внешние услуги.
  • Уязвимости безопасности, особенно «чрезмерное агентство»: Предоставление агентам ИИ широкие полномочия представляют существенные риски безопасности. Основным примером является «Чрезмерное агентство», критическая уязвимость, когда агенту ИИ дают больше разрешений, чем ему необходимо выполнять предполагаемую функцию. Это может привести к серьезным нарушениям данных, как видно в тех случаях, когда оперативные атаки впрыска использовали чрезмерный доступ к данным, чувствительным к утечке. Без надлежащего контроля доступа к агентам, подключенным к протоколам, таким как MCP, риск неправильного использования или несанкционированный доступ к данным резко возрос. Топ -10 OWASP для приложений для крупных языковых моделей (LLMS) подчеркивает это и другие критические проблемы безопасности LLM, подчеркивая необходимость надежного управления доступом и песочницы разрешений агента.
  • Отсутствие наблюдения и контроля: Когда агент ИИ ведет вести себя неожиданно или опасно, инженерным группам часто не хватает необходимой видимости в своих действиях или основных причин его поведения. Без надлежащей телеметрии и петель управления отладкой и вмешательством в режиме реального времени становятся чрезвычайно сложными, превращая незначительные глюки в потенциально дорогие или опасные неудачи.

AI Gateways: Построение недостающего контрольного слоя для автономных агентов

Ай шлюзы становятся основополагающим уровнем управления для всего агентского трафика. Концептуально, шлюз AI действует как компонент промежуточного программного обеспечения — будь то прокси, сервис или библиотека — через которые направляются все запросы агента AI на внешние службы. Вместо того, чтобы позволить агентам независимо добраться до APIS, маршрутизация вызовов через шлюз позволяет централизованному обеспечению и управлению политикой.

Эта модель «обратного шлюза API» позволяет организациям обеспечивать соблюдение важных ограждений на трафике, управляемого искусственным интеллектом, одновременно получая всестороннюю видимость и контроль над действиями агента. Эволюция шлюзов ИИ в настоящее время распространяется на обеспечение критической безопасности и соблюдения требований для автономных агентов ИИ и со-пилотов, использующих агентские протоколы. Это включает в себя:

  • Аутентификация и авторизация для всех агентских взаимодействий: Ворота ИИ развиваются, чтобы обеспечить соблюдение принципа наименьшей привилегии, посредничая учетные данные и вводя недолговечные токены для каждого взаимодействия с агентом-инструментом, независимо от базового протокола. Это имеет первостепенное значение для решения рисков «чрезмерного агентства» путем обращения со всеми агентами, включая со-пилотов разработчиков, таких как ненадежные пользователи и песочницы с их разрешениями.
  • Управление человеком в петле: Для конфиденциальных действий шлюз может приостановить выполнение до тех пор, пока не будет предоставлено ручное одобрение. Это действует как автоматический выключатель, уравновешивая автоматизацию с надзором.
  • Мониторинг и аудит по всему агентному трафику: Объединяя весь трафик агента, включая вызовы LLM и MCP-управляемые взаимодействия, через шлюз обеспечивает богатую регистрацию. Эти журналы — захватывание того, кто сделал то, что запрос, куда, с каким результатом — должны быть поданы в инструменты наблюдения и SIEM. Это позволяет командам отслеживать инциденты, обнаруживать аномалии (такие как шипы использования или доступ к новым конечным точкам) и предупреждать о необычном поведении.
  • Соответствие нормативным требованиям для автономных действий: Шапочки могут фильтровать или конфиденциальные данные, обеспечивающие обеспечение средств агентов правилам конфиденциальности данных. Они также предоставляют четкие, проверенные записи о том, как используется ИИ, решающий для соответствия нормативным и этическим стандартам.

Подготовка вашей инфраструктуры для агента AI Future

Агентический ландшафт ИИ все еще находится на его зарождающихся этапах, что делает его подходящим моментом для инженерных лидеров для создания надежной основополагающей инфраструктуры. Хотя технология быстро развивается, основные модели управления знакомы: прокси, шлюзы, политика и мониторинг.

Организации должны начать с получения видимости в том, где агенты уже работают автономно — чат -боты, суммарные данные, фоновые задания — и добавляют базовые журналы. Даже простые журналы, такие как «агент X, называемый API y», лучше, чем ничего. Маршрутизация агента трафика через существующие прокси или шлюзы в обратном режиме может устранить немедленные слепые пятна. Внедрение жестких ограничений на тайм -аутах, Max RESRIES и API -бюджеты могут предотвратить беглые расходы.

В то время как появляются коммерческие решения AI Gateway, такие как Lunar.dev, команды могут начать с перепрофилирования существующих инструментов, таких как Envoy, Haproxy или простые обертки вокруг API LLM для контроля и наблюдения за движением. Некоторые команды создали минимальные «прокси LLM» в дни, добавляя ведение журнала, переключатели убийства и ограничения. Одновременно определение политики AI в масштабах всего организации, таких как ограничение доступа к конфиденциальным данным или требует обзора человека для регулируемых результатов, имеет решающее значение, причем эти политики обеспечиваются через шлюз и обучение разработчиков.

Поощрение безопасных экспериментов в средах из песочницы, с использованием поддельных данных и обеспечения того, чтобы любой эксперимент был быстро остановлен, также являются жизненно важными стратегиями. Цель состоит в том, чтобы предположить сбои и дизайн для сдерживания.

Рост агентского ИИ обещает преобразующие возможности, но без выделенного уровня управления он также предлагает хаос. Подобно тому, как компании построили облачное управление в последнее десятилетие, современным организациям необходимо управление агентом искусственного интеллекта. К счастью, многие из моделей знакомы: прокси, шлюзы, политика и мониторинг. Начните сейчас, пока ставки низкие. Хорошо продуманным AI Gateway и уровнем управления станет основой будущих AI-коленных систем, обеспечивающих безопасное масштаб.

Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Eyal Solomon является генеральным директором и соучредителем Lunar.DEV, инженера по кибербезопасности и лидера продукта с более чем 10-летним опытом работы в области кибер-инструментов, управления продуктами и продаж. Эяль был также одним из ранних сотрудников в больших масштабах … Подробнее от Eyal Solomon

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *