«Чем больше системных причин, тем непредсказуем это становится». Эти слова от Ильи Сатскевер, бывшего главного ученых и соучредителя Openai, были на вершине сознания многих людей с момента его разговора на недавней конференции. Он утверждал, что индустрия искусственного интеллекта достигла предела предварительного обучения крупных языковых моделей (LLMS). Теперь он обратится к созданию суперинтелтингантных агентов — систем, способных рассуждать, понимать и выполнять сложные задачи.
В то время как Sutskever предупреждает, что следующее поколение агентов ИИ будет развивать свои собственные выводы — иногда неожиданно — эта реальность все еще находится в далеком будущем. Более того, мы должны сосредоточить наше внимание на новых угрозах, выдвинутых введением компьютерных агентов ИИ. Эти новые агенты делают больше, чем генерируют ответы на подсказки пользователей. Они взаимодействуют со средами, такими как конфигурация ноутбука пользователя, что делает их восприимчивыми к манипуляциям, которые могут повлиять на их рассуждения и действия так, как мы раньше не видели.
Реальная проблема в прогнозировании поведения ИИ заключается в том, чтобы установить четкие ожидания для агентов, которые защищают их от внешнего влияния, особенно с новыми возможностями, предоставляющими расширенные возможности для хакеров, чтобы заставить агентов ИИ выполнять нежелательные или злонамеренные действия.
Заимствованная из кибербезопасности, концепция красного команды стала важным инструментом для предотвращения атак и непредсказуемого поведения искусственного интеллекта путем проверки границ систем ИИ.
Новые возможности, новые риски
Агенты ИИ будут выполнять все более сложные задачи самостоятельно. Вы можете использовать агент ИИ, чтобы забронировать полет в качестве повседневного использования. Представьте себе, что агента взломает, предоставляя злонамеренным актерам доступ к вашей личной информации и компьютеру. Такие риски не являются гипотетическими. Нынешние агенты могут стать жертвами простых мошенничества, которые сделают большинство людей подозрительными, как объявление, размещенное хакером, которое гласит: «Глубокие скидки на рейсах. Отправьте данные платежа на hacker_name@x.com, чтобы получить последние дешевые места». По мере того, как агенты становятся более изощренными, так и атаки.
Наиболее значительным риском, с которым мы сталкиваемся в эпоху использования компьютерных агентов ИИ, является их восприимчивость к внешним манипуляциям, такими как быстрые инъекции, которые могут использовать уязвимости в их процессах принятия решений. Эти агенты могут получить доступ к браузерам, файлам, электронной почте и приложениям пользователей, чтобы автономно выполнять задачи, представляя большую поверхность атаки, которая оставляет системы пользователей уязвимыми под разными углами. Потенциальные воздействия варьируются от раздражений, таких как заставляя агента нажимать на рекламу на веб -сайте, до серьезных угроз, таких как позволяя хакеру захватить учетную запись пользователя или загружать вредоносные файлы, которые ставят под угрозу систему пользователя.
Злоусовеченные инъекции, которые манипулируют агентом, могут прийти практически из любого места: тексты веб -сайтов, комментарии Reddit, изображения, онлайн -реклама, электронные письма, загруженные файлы и так далее. Все эти возможности должны быть проверены, чтобы убедиться, что агент устойчив к различным типам атак.
Формирование безопасных агентов ИИ: красная команда как критический инструмент
В то время как мы добились значительных успехов в оценке безопасности LLM на уровне контента, безопасность уровня поведения агентов искусственного интеллекта в интерактивных средах остается недооцененной. Существуют тысячи контрольных показателей безопасности и наборов данных оценки, доступных для LLMS. Тем не менее, очень немногие эффективны для агентов искусственного интеллекта, поэтому нам нужны инновационные подходы к оценке безопасности и эффективности их моделей. Введите Red Teaming.
Red Teaming идет глубже, чем традиционные оценки LLM итеративно зондирующими агентами с состязательными подсказками, введенными в пользовательскую среду для проверки пределов мер безопасности системы ИИ. Подталкивая агента ИИ совершить ошибку, например, приоритет эффективности в отношении безопасности человека или запуска опасного сценария, загруженного с веб -сайта, Red Teaming может определить, где агент нуждается в лучших ограждениях.
Процесс тестирования требует сложной технической инфраструктуры для создания среды с веб -сайтами, загрузкой файлов, различным программным обеспечением и приложениями и даже устройствами Интернета вещей (IoT), в которых красная команда может запускать несколько сценариев атаки.
После обнаружения уязвимостей, результаты красной команды возвращаются в конвейер разработки, что позволяет разработчикам устранить выявленные риски и корректировать гарантии модели, чтобы обеспечить готовность к развертыванию. Этот цикл обратной связи является постоянным процессом для изучения наихудших сценариев и ожидания новых типов атак.
Красной команды следует подходить как обычные пожарные учения для ИИ. Когда Red Teaming является систематической и непрерывной, оно вызывает контексты, где система ИИ может стать мошенничеством, причинять вред или нарушать этические стандарты — и позволяет разработчикам смягчать потенциальные последствия.
Масштабирование безопасности ИИ с помощью совместной красной команды
Red Teaming — это упреждающий подход, который должен систематически применяться для обеспечения безопасного и этического ИИ. Компании могут разрабатывать свои процессы безопасности или проконсультироваться со сторонними партнерами, чтобы создать состязательные подсказки на основе таксономии сценариев для стресс-тестирования, которые соответствуют варианту использования их агента ИИ. Многие команды начинают с внутреннего тестирования и приводят внешних экспертов для целенаправленных усилий позже.
Красная команда для компьютерного агента ИИ может включать экспертов по кибербезопасности и безопасности ИИ, инженеров ИТ и QA, языковых специалистов или региональных консультантов с пониманием политического и культурного контекста. Идеальная красная команда имеет рабочие знания для моделирования различных методов атаки и результатов, имеющих отношение к сценариям вариантов использования. Например, командная тестирование агента по использованию компьютеров использует пассивные, активные и скрытые инъекции в результате стресс-тестов, таких как операции файлов, сетевые действия, манипуляции с системой и действия данных.
Красная команда является трудоемкой, но будущие решения будут предлагать масштабируемость. Они будут использовать специализированные модели искусственного интеллекта для создания средств тестирования и проведения автоматических оценок действий агента. Эффективные решения будут использовать автоматизацию наряду с красными командами, состоящими из экспертов человека.
Будущее красного команды
Агенты ИИ все чаще работают в сложных, реальных условиях, где их решения влияют на жизнь человека. Чтобы создать надежные рамки Teaming для следующего поколения ИИ, нам нужно сотрудничество между разработчиками, политиками, лидерами бизнеса и технологами с различными взглядами на руководящее поведение искусственного интеллекта. Заглядывая в будущее, мы ожидаем, что команды превзойдут текущие практики и превращаются в комплексный подход, посвященный каждому аспекту безопасности ИИ.
Okta, Inc. является мировой компанией Identity Company ™. Мы обеспечиваем личность, поэтому каждый может безопасно использовать любую технологию. Наши решения для клиентов и рабочей силы дают возможность предприятиям и разработчикам использовать силу личности для повышения безопасности, эффективности и успеха. Узнайте больше последних из Okta Trending Stories YouTube.com/thenewstack Tech Moving быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Александр Бородецкий — вице -президент по безопасности в Toloka AI, где он возглавляет службы безопасности ИИ и партнеров с глобальными технологическими компаниями для обеспечения ответственного развития ИИ. С более чем десятилетним опытом, включая консультирование в Bain & Company, он … Подробнее от Александра Борецкия
