Пятнадцать лет назад большинство предприятий относились к кибербезопасности как к второстепенной задаче — как к проверке, а не как к основополагающей стратегии. Компании поспешили развернуть веб- и облачные сервисы, в результате чего командам безопасности пришлось изо всех сил пытаться модернизировать защиту уже работающих систем. Мы все знаем конец этой истории: массовые взломы, миллиардные убытки и фундаментальная потеря доверия, которую можно было предотвратить с помощью превентивной разработки безопасности.
Сегодня я вижу, что та же картина разворачивается и с ИИ, но ставки гораздо выше. В отличие от утечки данных, которая является дискретным событием, сбой ИИ может быть скрытым и коварным, распространяясь по системам в течение месяцев или даже лет.
Организации быстро внедряют генеративный и агентный искусственный интеллект в финансах, здравоохранении и критической инфраструктуре. Тем не менее, наш недавний опрос более 4400 разработчиков и специалистов по обеспечению качества по всему миру выявил ошеломляющую разницу: хотя 72% из них активно разрабатывают приложения искусственного интеллекта, только 33% используют методы состязательного тестирования для выявления уязвимостей перед развертыванием. Это не просто пробел; это пропасть, которая расширяется с каждым днем.
За последние два года я работал с ведущими предприятиями, внедряющими системы искусственного интеллекта: от финансовых фирм, создающих чат-ботов для клиентов, до технологических гигантов, защищающих свои модели от атак. Я узнал, что традиционные методы тестирования, которые мы используем для обычного программного обеспечения, просто не работают для ИИ.
Почему традиционное тестирование терпит неудачу с ИИ
Основная проблема заключается в том, что системы ИИ не статичны; они постоянно развиваются. В то время как традиционное приложение всегда будет выдавать один и тот же результат для одного и того же ввода, модель искусственного интеллекта может каждый раз давать вам слегка (или существенно) разные ответы. Из-за этой непредсказуемости при обычном автоматизированном тестировании гораздо сложнее выявить наиболее критические виды отказов.
Возьмем, к примеру, ведущую фирму, оказывающую финансовые услуги, которая заключила с нами партнерские отношения для улучшения своего чат-бота с искусственным интеллектом. Хотя традиционное тестирование подтвердило, что оно может обрабатывать базовые запросы, ситуация изменилась, когда мы задействовали разнообразную команду тестировщиков-людей. Они работали с чат-ботом над тысячами сценариев и выявили критические слабые места, которые автоматические тесты никогда бы не обнаружили. Например, модели не обязательно могут интерпретировать идиомы. Если пользователь спрашивает: «Моя учетная запись в минусе?» чат-бот, не понимая идиому, может перевести разговор на настройки цвета аккаунта, а не на финансовое состояние
То, что мы обнаружили, было не просто ошибками; это были возникающие модели поведения, которые проявлялись только в результате реального человеческого взаимодействия. Подобный опыт в десятках корпоративных развертываний научил нас тому, что эффективное тестирование ИИ требует принципиально другой методологии.
Три столпа обеспечения качества ИИ
Основываясь на нашем опыте тестирования крупномасштабных развертываний ИИ, я определил три важнейших методологии, которые организации должны принять для обеспечения надежного обеспечения качества ИИ:
- Масштабная оценка «человек в цикле» (HITL): Тестирование ИИ требует разнообразных человеческих точек зрения, которые отражают вашу реальную базу пользователей. Для одной глобальной технологической компании, готовящейся к запуску потребительского чат-бота, мы собрали тысячи тестировщиков из шести стран. Разнообразие было не только географическим; оно охватывало возрастные группы, уровни образования и культурные традиции. Такой подход выявил критические сбои, которые постоянно упускали из виду однородные внутренние команды.
- Адаптивная красная команда: Красная команда ИИ должна исследовать поведенческие уязвимости, включая предвзятость, токсичность, дезинформацию и манипуляции, которые отличаются от традиционного тестирования на проникновение, которое фокусируется на технических уязвимостях. Применяя упреждающий подход и создавая специализированные красные команды с опытом работы в предметной области, компании выявляют и устраняют уязвимости еще до того, как модель будет выпущена.
- Непрерывный мониторинг и обнаружение предвзятости: Модели ИИ не просто терпят неудачу; они могут развиваться и дрейфовать с течением времени. Предвзятости, отсутствующие при запуске, могут возникнуть по мере того, как модели сталкиваются с новыми шаблонами данных или по мере изменения социального контекста. Эффективное тестирование ИИ — это не разовая проверка перед развертыванием; это система постоянного мониторинга, которая отслеживает поведение модели в различных демографических сегментах и вариантах использования.
Не ждите момента провала вашего ИИ
Некоторые утверждают, что надежное обеспечение качества ИИ слишком дорого или слишком сложно для строгого внедрения. Это тот же аргумент, который мы слышали о кибербезопасности более десяти лет назад, до таких событий, как взломы Equifax и Target.
Разница с ИИ заключается в том, что его сбои могут быть гораздо более разрушительными, влияя на одобрение кредитов, решения о найме и медицинские диагнозы задолго до того, как кто-либо это заметит.
Для лидеров развития путь вперед требует изменения как в технологиях, так и в мышлении. Начните с расширения вашего определения качества за пределы просто функциональной корректности, включив в него справедливость, безопасность и контекстуальную целесообразность.
Создавайте группы тестирования, которые отражают разнообразие вашей пользовательской базы, а не только вашей инженерной организации. Внедряйте непрерывный мониторинг, который отслеживает поведение модели с течением времени, а не только при развертывании.
Самое главное — признать, что тестирование ИИ — это, по сути, человеческая задача, требующая человеческого интеллекта и опыта. Хотя автоматизированные инструменты играют вспомогательную роль, детальные суждения, необходимые для выявления предвзятости, токсичности и контекстуальных ошибок, требуют систематических человеческих знаний.
Мы можем продолжить текущую траекторию — ускорить запуск систем искусственного интеллекта в производство с минимальным контролем — и дождаться неизбежного каскада неудач, которые заставят нас расплатиться. Или мы можем извлечь уроки из истории и с самого начала включить обеспечение качества в наши стратегии развертывания ИИ.
Организации, выбравшие последний путь, не просто смогут избежать грядущей волны сбоев ИИ; они предоставят возможности искусственного интеллекта, которые действительно принесут пользу пользователям, одновременно завоевав доверие, необходимое для долгосрочного успеха.
Вопрос не в том, станет ли тщательное тестирование ИИ стандартной практикой. Вопрос в том, будет ли ваша организация впереди этой кривой или это поучительная история о том, что произойдет, когда вы отстанете от нее.
ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Крис Шиэн отвечает за общее стратегическое направление и эффективность бизнеса Applause в секторе высоких технологий и практике искусственного интеллекта. С момента прихода в Applause в 2015 году Крис занимал различные должности в нескольких командах, в том числе в сфере разработки программного обеспечения, разработки продуктовой стратегии, работы с клиентами… Подробнее от Криса Шиэна
