Команды разработчиков находятся под растущим давлением, чтобы принять агентов ИИ в то же время, как известно, агенты становятся мошенническими, утекая конфиденциальные данные и в одном случае удаляя производственную базу данных.
Илья Саускевер, бывший главный ученый и соучредитель Openai, заявила, что автономное поведение агентов ИИ со временем станет более непредсказуемым, что приведет к предупреждениям о том, что они «тикают бомбы времени» и требуют новых видов безопасности и управления.
Остин, штат Техасский стартап Eve Security, выходит из стелса, чтобы решить задачу с помощью технологии агента в петле, которая обнаруживает и действует на поведение подозрительного агента, одновременно вырезая шум от слишком большого количества оповещений для вмешательства человека.
«То, что мы слышим от наших клиентов … это много департаментов, сейчас стремятся к агентским мероприятиям, агентским возможностям, потому что они чувствуют, что они позади. Таким образом, есть мандат от высшего руководства, есть мандат для руководителей департаментов, и есть даже толчок от массовой безопасности от сотрудников»,-сказал Надав Корнберг, соучредитель и генеральный директор Eve Security.
«Департамент CISO вроде как выдвигается в угол. [They’re saying] «Вы влияете на бизнес. Нам нужно решение здесь. С другой стороны … Я в порядке, если мы подключим агента ИИ с Грубхубом и [IT] Случайно заказывает 20 метро. Мне все равно. Но если вы начнете подключать его к Salesforce или Github или Netsuite, и вдруг это испортит эти системы, угадайте, кто придет генеральный директор, и отрубит голову? Верно? Я буду виноват.
Университет роуминг -агентов
С подходом агента в петле люди все еще контролируют, но агенты встроены в рабочие процессы, чтобы разобрать, какие действия действительно сомнительны.
Когда соучредители Корнберг, Амит Элиав и Шарон Эйлон намереваются сформировать компанию, они хотели бы понять болевые точки CISOS. Они обнаружили, что они обеспокоены подключением агентов ИИ с системами, содержащими данные о «Jewel» их компаний. Как они будут управлять этим? В то же время они беспокоились о том, чтобы их ошеломили так много предупреждений, что должны были иметь посвященный персонал, чтобы просеять все это, чтобы найти то, что было действительно критическим.
Благодаря своей платформе Eveguard его агент в цикле может наблюдать агентов и взаимодействия между агентами и бизнес -системами, чтобы предпринять необходимые действия или обострить проблему человеку. Он предназначен для понимания намерения действия, решить проблемы в политике на основе английского языка, которые создают слепые пятна, такие как перевод и культурные нюансы, и оценить риск, связанный с ним.
Агенты ИИ создают уязвимости, которые, по словам Крейтона Хикса, партнера в Liveoak Ventures, которые, наряду с тау Ventures, не могут видеть, что сегодняшние инструменты безопасности не могут видеть, что, наряду с тау Ventures, финансировал семенный раунд в размере 3 миллиона долларов.
«Прямо сейчас большинство лидеров безопасности летают слепым. Охрана Ева позволяет командам безопасности получить видимость и контроль над известным и неизвестным агентским ИИ, работающим на их предприятии», — сказал он.
Технология рассматривает то, что обычно делает каждый агент и делает ли она что -то еще.
Какой риск?
«Когда вы смотрите на такие протоколы, как MCP… это больше не традиционный запрос и ответ. Это может быть просто параметр с надписью:« Пожалуйста, генерируйте отчет для всей финансовой информации в первом и квартале. Отправьте этот отчет [these people and cc someone else]Полем Затем, пожалуйста, возьмите всю эту информацию, PDF, а затем сохраните ее в этот каталог, — объяснил он.
Если агент делает то, что исторически делал, это не проблема. Но если есть аномалия, она может иметь правильные разрешения, но это никогда не было видно раньше. Или это что -то вне политики и повторяется несколько раз?
Ева кластеры поведение для анализа рисков.
Например, если агент собирает информацию о погоде в Остине, это поведение, возможно, не было замечено раньше, но это не так рискованно для бизнеса, объяснил Корнберг. Однако, если он просит зарплату генерального директора или другой конфиденциальной компании, это должно быть красный флаг. Технология может затем опросить агента, чтобы понять причины запроса.
«Так что я могу посмотреть на историю рассуждений, чтобы понять. Я понимаю, почему это просит об этом», — объяснил Корнберг. «Вы знаете, на самом деле, генеральный директор был вошел здесь. Он просил об этом. Поэтому я сделал вызов в ответ. Теперь, как часть допроса для генерального директора, генеральный директор сказал:« Да, это я. Я прошу эту информацию ». Хорошо, я позволю это только один раз, поэтому мне не нужно пузырьть это, а не что?
Компонент EVE устанавливается на стороне клиента, которая интегрируется с информацией о безопасности и управлении событиями (SIEM) и другими инструментами, в которых компании определяют такие политики, как управление доступа на основе ролей, защита лично идентифицируемой информации (PII) и другие данные. Он поддерживает протоколы модели контекста (MCP) и протоколы агента к агенту (A2A), которые дают представление о взаимодействиях агента AI и цепочках координации и делегирования агента с агентом.
Интеграции с сетевыми инструментами, инструментами конечных точек и структурой, с которыми были созданы агенты, необходимы для предоставления всестороннего представления о том, что происходит.
Оттуда компании могут идентифицировать и разрешать только утвержденным агентам работать, устраняя риск со стороны «теневых» агентов; дезинфицировать агентские выходы ИИ в режиме реального времени, чтобы предотвратить оперативные атаки; Защитите конфиденциальную информацию и обеспечивает политику доступа.
Обнаружение и ответ
Корнберг сказал, что безопасность Eve более узко сосредоточена, чем его ближайшие конкуренты — он указал на безопасность Lasso и Aime Security (теперь является частью сетей Cato. Вместо того, чтобы идти широко, включая сторону осанки, которая включает в себя настройку разрешений и политики, он включает в себя обнаружение и ответ. Что позволяет агент?
Крис Анишчик, консультант по безопасности Eve Security и технический директор The Cloud Native Computing Foundation, назвал новый стартап «вроде как ремень безопасности для самостоятельного вождения AI».
Соучредитель Эйлон отметил, что не все риски приходят снаружи.
«Это что -то нормативное, верно? Это обменивается информацией. Он делает что -то с этой информацией. Может быть, он отправляет электронное письмо наружу. Он должен отправлять электронное письмо за пределами организации с моим именем и адресом? Я не знаю», — сказал он.
«Мы смотрим на это общение, и мы видим, каковы намерения и что там, что он уполномочен делать это. Если нет проблемы разрешения, это может выполнять это действие. Никто не сказал, что это не делать. Но правильно ли он должен выполнять это действие? Кто-то должен проверить».
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Сьюзен Холл является редактором спонсора нового стека. Ее задача — помочь спонсорам достичь самых широких читателей для их предоставленного контента. Она написала для нового стека с первых дней, а также сайтов … Подробнее от Сьюзен Холл
