IBM спонсировала этот пост.
По мере того как корпоративные ИТ-системы становятся все более сложными, поддержание прозрачности, производительности и устойчивости распределенных архитектур становится как никогда важным. Появление агентного ИИ — ИИ, способного к автономному анализу и действиям — меняет подход организаций к наблюдаемости и операционной устойчивости. Результатом является более активная и адаптивная модель операций, которая значительно снижает среднее время разрешения проблем (MTTR) и позволяет командам сосредоточиться на инновациях, а не на реагировании на инциденты.
Агентический ИИ относится к системам, которые могут автономно выполнять сложные, многоэтапные задачи, планируя, рассуждая и действуя с минимальным вмешательством человека. В отличие от традиционного ИИ, который реагирует на прямые команды, агентный ИИ является активным и целеустремленным, способным адаптироваться к меняющимся условиям.
Но автономия сама по себе не является прогрессом. Возможности, которые делают агентов ИИ столь ценными, также могут затруднить мониторинг, понимание и контроль их поведения. Реализация потенциала агентного ИИ зависит от внедрения безопасности и подотчетности на каждом этапе автоматизации и использования инструментов наблюдения, которые предназначены для мониторинга производительности агента ИИ и выявления любых отклонений от стандартов. Без этих основ те же системы, которые обеспечивают скорость и эффективность, могут создать новые операционные риски.
Баланс между автоматизацией и человеческим контролем
Предприятия должны учитывать архитектуру с участием человека в цикле (HITL), когда они начинают проектировать агентные системы, а не как второстепенную мысль. Цель состоит в том, чтобы объединить эффективность автоматизации с надежностью и управлением, необходимыми для доверия.
В IBM, как я уже говорил, этот баланс следует трехэтапному континууму:
- Автоматизированное выполнение: Обратимые задачи с низким уровнем риска, такие как анализ журналов или операции в тестовой среде, могут быть полностью автоматизированы с минимальным контролем.
- Контролируемая автоматизация: Процессы среднего риска требуют этапа проверки и утверждения, на котором люди проверяют действия ИИ перед их выполнением.
- ХИТЛ исполнение: Операции высокого риска, такие как общение с клиентами или изменения в производстве, должны оставаться под прямым контролем человека.
По мере роста доверия к автоматизации организации могут перевести больше контролируемых процессов в категорию автоматизированных, особенно в непроизводственных средах. Мой опыт работы с клиентами показал, что от 60% до 70% автоматизации в настоящее время приходится на системы разработки и тестирования, а от 30% до 40% — на производство.
Обоюдоострый меч автономной наблюдаемости
Платформы наблюдения превратились из простого сбора журналов в продвинутые AIOps, способные обнаруживать и коррелировать аномалии. Следующий рубеж должен включать агентную наблюдательность — системы, которые могут интерпретировать телеметрические данные, обнаруживать сбои и действовать для их исправления.
автоматизация без подотчетности представляет собой масштабный риск.
Эти возможности могут трансформировать ИТ-операции, исключив ручную сортировку и обеспечив упреждающее разрешение проблем. Но они также создают новые риски; Процесс ИИ может ошибочно интерпретировать всплеск трафика как атаку или сделать вывод о ложной корреляции между журналами обслуживания.
автоматизация без подотчетности представляет собой масштабный риск. На мой взгляд, каждое решение, принимаемое ИИ, должно быть отслеживаемым, объяснимым и управляемым. Без прозрачности и контроля автоматизация «черного ящика» может подорвать доверие и замедлить внедрение революционных технологий.
Метрики и системы подотчетности в области ИИ
За последние два года появилось несколько рамок для обеспечения прозрачности и подотчетности в системах ИИ:
- Система управления рисками искусственного интеллекта NIST (сша): Устанавливает стандарты контроля и доказывания для ответственного и прозрачного ИИ.
- Закон ЕС об искусственном интеллекте (Европа): Требуется непрерывный мониторинг систем искусственного интеллекта с использованием показателей, событий, журналов и трассировок, известных под общим названием «MELT».
Эти структуры помогают организациям отслеживать поведение ИИ, документировать соответствие требованиям и обеспечивать объяснимость — понимание того, почему система действовала, а не только что она сделала.
Дополнительные инициативы, такие как карты моделей Google, предлагают шаблоны для документирования происхождения и поведения моделей. Вместе эти стандарты могут помочь сделать системы искусственного интеллекта отслеживаемыми и проверяемыми.
Почему агентному ИИ нужны новые меры безопасности
В отличие от традиционных инструментов аналитики, агентный ИИ не просто наблюдает, он действует. Эта автономия требует новых гарантий по нескольким направлениям:
- Ложные срабатывания и галлюцинации: Генеративные модели могут ошибочно определять закономерности, вызывая ненужные или вредные вмешательства. Современные инструменты наблюдения используют телеметрию, специфичную для ИИ, для выявления аномальных реакций или повторных попыток, которые указывают на плохую обоснованность модели, что приводит к необходимости переобучения или обновления параметров.
- Потеря контроля: Чрезмерная зависимость от автоматизации может скрыть основной дрейф системы. Инструменты наблюдения могут помочь обнаружить отклонения, отслеживая изменения в шаблонах реагирования или изменениях в выходных данных, а затем предупреждать команды о необходимости обновления конфигураций или документации для устранения отклонений.
- Воздействие безопасности: Агенты с чрезмерным доступом к данным могут стать площадками для атак. Например, по мере того, как киберпреступники разрабатывают новые тактики, агенты могут стать менее надежными в обнаружении мошенничества. Инструменты наблюдения могут определять, когда агенты получают доступ к службам или вызывают их за пределами разрешенных границ, поэтому команды могут переобучить модель, чтобы закрыть бреши в безопасности.
- Комплаенс-риски: Необъяснимые решения ИИ могут спровоцировать нарушения нормативных требований в соответствии с такими рамками, как Закон ЕС об ИИ. Инструмент наблюдения может предоставить данные трассировки для поддержки требований проверяемости и объяснимости в рамках этих структур.
Каждая из этих задач подчеркивает один и тот же принцип: надежная автоматизация зависит от прозрачности, объяснимости и подотчетности.
Надежная автоматизация зависит от прозрачности, объяснимости и подотчетности.
Схема: искусственный интеллект, созданный с помощью ограждений
IBM рассматривает агентный ИИ как возможность и обязанность. На мой взгляд, следующее поколение платформ наблюдения должно быть построено на трех ключевых компонентах:
- Прозрачность по дизайну: Каждое действие ИИ должно быть проверяемым, с четкой передачей данных, показывающей, что повлияло на принятое решение и почему.
- Безопасность по дизайну: Данные наблюдения, часто очень конфиденциальные, должны быть защищены с помощью шифрования, контроля идентификации и строгих разрешений.
- Управление по дизайну: Политики должны диктовать, когда ИИ может действовать автономно, а когда требуется человеческая проверка — то, что IBM называет автоматизацией на основе политик.
Эти ограничения определяют ответственную автоматизацию, сочетающую эффективность искусственного интеллекта с доверием корпоративного уровня.
Практические меры для ответственных операций с искусственным интеллектом
В дополнение к общим рекомендациям по дополнению человеческого интеллекта с помощью ИИ рассмотрите следующие стратегии интеграции агентного ИИ в системы наблюдения и операций.
- Разверните шлюзы искусственного интеллекта, которые проверяют и авторизуют действия перед их выполнением, обеспечивая соблюдение политик безопасности и изменений.
- Установите конвейеры наблюдения за ИИ. Относитесь к моделям и агентам ИИ как к первоклассным наблюдаемым компонентам. Фиксируйте MELT для каждого действия агента, вывода модели и взаимодействия с данными, чтобы обеспечить полное отслеживание и объяснимость происхождения.
- Отслеживайте дрейф модели и прозрачность рассуждений. Внедряйте непрерывную проверку и обнаружение отклонений для больших языковых моделей и агентных систем искусственного интеллекта. Инструменты наблюдения могут предоставить данные трассировки, которые помогут выявить отклонения в рассуждениях или путях принятия решений.
- Внедрите безопасное управление данными, чтобы модели ИИ имели доступ только к необходимым им данным телеметрии.
- Свяжите оценку устойчивости с показателями наблюдаемости для унифицированного наблюдения за работоспособностью системы и готовностью к восстановлению.
- Поддерживайте архитектуру с участием человека в цикле для высокоэффективных или ориентированных на клиента систем. ИИ должен помогать, а не заменять человеческое суждение.
Эти принципы быстро становятся необходимыми для эксплуатации по мере того, как предприятия переходят к самовосстанавливающимся средам, управляемым искусственным интеллектом.
Укрепление доверия в следующую эпоху наблюдаемости
ИИ должен расширять человеческие намерения, а не заменять их. Благодаря надежным мерам защиты и прозрачному дизайну предприятия могут использовать агентный искусственный интеллект для автоматизации устойчивости ИТ, сокращения среднего времени восстановления и повышения эксплуатационной уверенности.
В конечном счете, наблюдаемость — это уверенность: мы знаем, что системы работают так, как ожидается, а автоматизация действует ответственно, когда это наиболее важно. При реализации с прозрачностью и управлением агентный ИИ может поднять доверие на новый уровень.
Организации, которые преуспеют в следующей волне цифровых операций, будут теми, которые сочетают интеллект с честностью, используя искусственный интеллект для внедрения инноваций без ущерба для подотчетности.
Будущее наблюдаемости не просто автономно. Оно должно быть подотчетным, понятным и безопасным — основой устойчивых корпоративных систем, рассчитанных на длительный срок службы.
Узнайте больше о том, как IBM Observability может помочь повысить устойчивость, сократить расходы и оптимизировать ИТ с помощью интегрированного оперативного интеллекта на базе искусственного интеллекта.
IBM помогает организациям преодолеть сложность ИТ-операций с помощью стратегии автоматизации, которая плавно соединяет приложения и системы с помощью автоматизации на основе искусственного интеллекта и API, обеспечивая динамическую, масштабируемую и интеллектуальную системную интеграцию посредством унифицированного опыта. Узнайте больше ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Викрам Мурали — вице-президент по управлению продуктами, разработке и проектированию IBM Automation, специализирующийся на автоматизации ИТ и наблюдаемости. IBM Automation разрабатывает и предоставляет несколько ведущих корпоративных предложений для повышения эффективности работы ИТ, безопасной интеграции приложений и систем для удаления… Подробнее от Викрама Мурали
