Ваши агенты ИИ растут. Пора твоей модели управления тоже.
За последние два года большая часть разговора с искусственным интеллектом была сосредоточена на риске, и это справедливо — джейлбрейки, утечка данных и непреднамеренные действия. Я был капитаном команды осторожность с момента первоначальной публикации Top 10 Owasp для LLMS, начиная с середины 2013 года.
Вопрос больше не является «ИИ рискованным?» Но «как мы можем безопасно масштабировать ИИ?»
Агенты ИИ созрели, а варианты использования расширяются. Рассуждение ИИ улучшается быстро. Они пишут код, делятся на оповещения, разрешают билеты, составят отчеты — и делают это в производстве, а не только в лабораториях. Насущный вопрос не заключается в том, опасны ли эти агенты.
Нажапиющий вопрос заключается в том, создали ли вы правильную модель управления, чтобы позволить им безопасно и продуктивно работать.
Пришло время перейти от человека в петле (HITL) к человеку на петле (HOTL).
Эволюция от быстрой инженерии до административного надзора с ИИ
Мы прошли мимо эпохи ИИ. Сегодня агенты едут.
Давайте посмотрим на эволюцию действий ИИ за последние пару лет. Мы начали с Chatgpt. Это может генерировать идеи, черновые электронные письма или написать фрагменты кода. Но человек поехал по всей петле автоматизации. Вы скопировали, встали, запустили код и обрабатывали выполнение. ИИ был реактивным. Вы были ответственны, потому что выполняли всю работу.
Затем появились инструменты, такие как курсор. Курсор дал ИИ больше власти в рабочих процессах кодирования. Он может читать и записывать файлы, выполнять команды и напрямую изменять вашу кодовую базу. Однако при типичном использовании он часто приостанавливался, обращаясь к человеческому разработчику за руководством или разрешением, прежде чем предпринять большинство действий. Даже если человеческое взаимодействие было так же просто, как многократно нажатие клавиши вкладок, человек все еще был полностью вовлечен от минуты до минуты. На практике это было человеком в петле: ИИ работает, но человеческие движения.
Теперь мы видим другой шаблон, особенно в таких инструментах, как Claude Code, которые склонялись к эксплуатационным режимам, которые обеспечивают большую автономию.
Вы все еще можете запустить Claude Code консервативно, но многие разработчики теперь позволяют ему работать более автономно. Вместо того, чтобы постоянно регистрироваться, он представляет план, получает одобрение один раз, а затем выполняет несколько шагов — написание, тестирование, отладка и итерация. Эти неконтролируемые шаги рабочих процессов, которые раньше были секундами между проверками одобрения человека, теперь могут часто варьироваться до 10 -х минут или более.
Вы все еще вовлечены. Вы мониторинг. Но вы не микроуправление.
Это человек на петле-и он быстро становится единственным жизнеспособным путем к масштабу.
И это не просто история программного обеспечения. В мире обороны рассказывается о том же дебатах, когда военные лидеры взвешивают, должны ли автономные беспилотники принимать смертельные действия без человека в цикле. Это не научная фантастика. Это системная архитектура в национальном масштабе.
Боковая панель: автономия в воздухе
Дебаты Hitl vs. Hotl — это не просто проблема с программным обеспечением — она сейчас разыгрывается в ведущих мировых оборонных программах.
Многочисленные правительства исследуют полностью автономные истребители, способные выявлять угрозы и выполнять смертельную силу без человека в реальном времени.
Параллельно, в системы «лояльного ведомого ведения»-полуавтономные беспилотники, которые летают рядом с людьми, выполняя делегированные задачи, при этом твердо держа человека в петле.
Это горячо оспариваемый выбор дизайна. Полная автономия обещает скорость и достижение. Но Hotl Designs предлагает лучшую ответственность, координацию и человеческое суждение.
На данный момент у лояльной модели Вингмана есть преимущество. Он отражает многие преимущества автономии-не разрывая связь с принятием решений человеком.
Это не философская сноска. Это практическое решение о дизайне, которое определяет, как — и работает ли автономия в вашей системе.
Строительство безопасной автономии: рамка реализации HOTL
Hotl — это не только рабочие процессы разработчиков. Речь идет о масштабировании автономии в любом месте. Машины действуют от нашего имени.
Наиболее зрелые примеры сегодня — разработка программного обеспечения, но та же схема появляется в разных доменах:
- Агенты по производительности управляют календарями, документами и информационно -пропагандой.
- Служба поддержки клиентов решает проблемы и маршрутизацию билетов.
- Автономные системы в области логистики, финансов и инфраструктуры.
И за пределами предприятия последствия являются еще более значительными. Вопрос о том, когда машина должна действовать самостоятельно, по сравнению с тем, когда она должна отложить человеку, — это не только код. Речь идет о политике, безопасности и этике.
Как на самом деле выглядит безопасная автономия
Человек на петле не означает удаление гарантий. Это означает строительные системы, которые не зависят от постоянного прерывания, чтобы оставаться в безопасности.
Если вы хотите, чтобы ваши агенты действовали продуктивно и ответственно, не сжигая своих человеческих обработчиков, вам нужно:
- Наименьшее количество инструментов
- Не дайте своему агенту разрешения на одеяло. Ограничьте то, что он может получить, и какие инструменты могут использовать. Меньшее доверительное поверхность = меньший риск.
- Наблюдаемая наблюдением времени выполнения
- Отслеживайте то, что делает ваш агент в режиме реального времени. Это включает в себя команды, редактирование файлов, использование инструментов и внешние вызовы. Не только журналы — телеметрия.
- Запускаемые вмешательства
- Дизайн для эскалации. Агенты должны сделать паузу, уведомлять или направляться к человеку, когда они попадают в неожиданные условия или действия высокого риска.
- Проверка трубопроводов
- Выходы от агентов, особенно тех, которые влияют на системы или пользователей, должны проходить через конвейеры проверки, как и человеческий код в CI/CD.
- Посмертно готовая регистрация
- Когда дела идут не так, вы должны увидеть, что произошло и почему. Прослеживаемость не является обязательной — она является основополагающим.
Межфункциональное управление для систем управления агентами ИИ
Если вы возглавляете усилия по трансформации ИИ — как главный специалист по искусственному интеллекту, исполнительный директор продукта или функциональный лидер — этот сдвиг влияет на вас напрямую.
Вы не можете полагаться только на свою инженерную команду, чтобы установить границы для поведения агента. Это межфункциональный вопрос управления.
- Юридические и соответствие должны взвесить приемлемое автономию.
- Команды продукта и UX должны определить, где происходит передача между агентом и пользователем.
- Безопасность должна быть разработана для мониторинга времени выполнения и сдерживания.
- Без межфункционального управления агенты искусственного интеллекта становятся продуктивными миражами-или, что еще хуже, обязательства по безопасности.
Перемещение в Hotl изменяет вашу операционную модель. Игнорирование этого не задерживает изменения — это просто гарантирует, что ваша организация не будет готова, когда она прибудет.
Вы не можете сидеть
Наиболее эффективными агентами сегодня являются те, которые работают под структурированной автономией. Не зажат. Не бесплатно для всех. Просто быстрый, способный и контролируемый.
Это человек на петле.
Это не компромисс. Это план.
Если вам все еще требуется одобрение человека на каждом шаге, вы бутываете сами. Если вы передаете полный контроль модели без надзора, вы рискуете.
Но если вы структурируете своих агентов с помощью ограждений, наблюдаемой и хорошо продуманной автономии, вы разблокируете реальное значение агента AI-в масштабе.
Так что перестаньте ждать разрешения.
Перепроектируйте свои системы. Определите свои границы. И поставьте человека на петлю вместо микроуправления.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Стив Уилсон является пионером в области генеративного ИИ и кибербезопасности, развития достижений в кибер-обороне с ИИ, и обеспечивает системы ИИ. Как главный ИИ и сотрудник по продукту в Exabeam, лидер в области безопасности, управляемых искусственным интеллектом, Стив возглавил запуск … Подробнее от Стива Уилсона
