Быстрое принятие генеративных инструментов искусственного интеллекта, агентов ИИ и инструментов кодирования ИИ создает новый вектор угрозы, с которым должны бороться команды безопасности. Pangea, которая началась в 2021 году в качестве более традиционной услуги для обеспечения облачных приложений, сегодня запустила свою службу обнаружения и реагирования искусственного интеллекта (AIDR) в предварительном просмотре, которая направлена на то, чтобы решить именно эти проблемы, с которыми сейчас сталкиваются многие предприятия. Это позволяет командам безопасности обнаруживать, контролировать и безопасные приложения AI Generative по всему предприятию, независимо от того, использует ли это ИИ сотрудник (уполномоченные или теневые ИИ), внутренние приложения ИИ и многое другое.
«Когда вирусы и вредоносные программы впервые вышли в 80 -х и 90 -х годах, это была новая угроза, и нам пришлось создать новые технологии обнаружения для обнаружения этой угрозы, потому что ее раньше не было», — сказал генеральный директор Pangea Оливер Фридрихс. «Я думаю, что в этом случае это очень похоже. Теперь слова — это оружие, а не байты, которые мы использовали для обнаружения с помощью антивирусных продуктов — и теперь мы должны создать новую логику и политические рамки для обеспечения управления ИИ и обнаружить угрозы ИИ».
Изображение предоставлено: Пангея.
Фридрихс — подходящий человек, который проведет эти сравнения. Он основал и соучредил четыре компании безопасности и обладает глубоким опытом в области антивирусного и антимологового программного обеспечения (и выходит в McAfee, Symantec, Sourcefire и Splunk). Он утверждает — и многие, несомненно, согласятся — что в качестве предприятий участвуют в принятии этой новой технологии, безопасность часто является запоздалой мыслью.
Сегодня сражаются команды безопасности ИИ.
Угроза тоже отличается и совершенно отличается от того, с чем знакомы большинство команд безопасности. Фридрихс отметил, что большинство клиентов Пангея в основном обеспокоены двумя разными проблемами. Первое — это быстрые атаки впрыска, которые могут обмануть модель в предоставление данных, которые она не должна или выполнять вредоносные действия, будучи лучшими для большинства команд безопасности. Но, и это более знакомо для большинства команд безопасности, другой основной угрозой является сотрудники, использующие сторонние инструменты ИИ и кормить конфиденциальные данные в эти услуги.
«Команда безопасности, они обеспокоены сотрудниками и рабочей силой, доступа к сторонним моделям искусственного интеллекта. «Есть два совершенно разных аспекта безопасности ИИ — а иногда они объединяются».
Наличие моделей реагировать на злонамеренный контент еще не является широкой проблемой, но Фридрихс отметил, что злонамеренный актер может потенциально отравить набор данных и подать злонамеренную связь с данными обучения модели или, как может быть, более вероятно, к серверу для модели или сервера модели или агента.
Изображение предоставлено: Пангея.
То, что Pangea построила, — это набор инструментов, которые расположены на вершине его обслуживания AI Guard. Эта услуга, по сути, является прокси, которую разработчики могут вызвать API, сидя между приложением и LLM или агентом. Чтобы обнаружить этот злонамеренный — или просто нежелательный — содержание и остановить конфиденциальные данные от проникновения в модели, сама Pangea использует меньшие LLMS, которые поддерживают низкую задержку, но все еще достаточно умны, чтобы выявлять потенциальные проблемы.
Компания также сотрудничает с такими, как Crowdstrike, чтобы собрать дополнительную интеллектуальную интеллекту, чтобы она могла отфильтровать вредоносные URL -адреса и IP -адреса в подсказке.
Pangea aidr
Теперь, с платформой AIDR, Pangea хочет предоставить предприятиям более концов-T0-END решение для мониторинга и обеспечения того, как ИИ используется в их рабочих процессах. Для этого компания должна развернуть датчики в более широком диапазоне конечных точек. Среди прочего, это означает, что сегодня он также запускает расширение Chrome для защиты от использования AI Shadow, а также датчики для получения видимости в агентских рамках и SDK, а также прокси для внутренних застроенных агентов. Команда также создала интеграцию с существующими шлюзами AI из Kong, Litellm, Portkey и других, что позволяет им также добавлять свои услуги безопасности на этом этапе. Существует также SDK для разработчиков, которые хотят построить Pangea непосредственно в свои приложения, и в ближайшем будущем команда планирует поддерживать дополнительные браузеры, такие как Microsoft Edge и дополнительные точки от ИИ.
«Это требует разных знаний и опыта для обнаружения этих типов угроз», — сказал Фридрихс. «Но тогда, другая половина — это всего лишь все, что мы делали раньше. Это просто еще одна вещь, чтобы контролировать. Мы всегда говорили в сети, мы хотим применить видимость и контроль над сетевым трафиком, и теперь мы говорим, что хотим сделать то же самое для трафика Gen AI».
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Прежде чем присоединиться к новому стеку в качестве старшего редактора для ИИ, Фредерик был редактором предприятия в TechCrunch, где он освещал все, от роста облака и самых ранних дней Kubernetes до появления квантовых вычислений …. Подробнее от Frederic Lardinois
