Марк Бениофф, генеральный директор Salesforce, недавно заявил: «Мы последнее поколение генеральных директоров, которые управляют только людьми. Каждый генеральный директор в будущем будет управлять людьми и агентами вместе». Агенты ИИ развиваются и прогрессируют, но важно отметить, что автономные системы не просто выпали с неба однажды. Агенты ИИ являются побочным продуктом методов, инструментов и принципов из предыдущих технологических революций. Не в последнюю очередь из-за низкого кода/кода (LCNC).
LCNC давно включает в себя бизнес -пользователей, разработчиков и ИТ -команд для демократизации разработки приложений, устраняя необходимость в области глубокого кодирования. Но его реальная власть заключается в том, чтобы расширить возможности тех, кто глубоко понимает бизнес, необходимо создавать приложения.
Агенты ИИ везде
Агенты искусственного интеллекта проводят эту концепцию, внедряя интеллект, автономию и динамическое принятие решений в ранее статические рабочие процессы приложений, созданные и используемые бизнес-пользователями по всему предприятию. Автоподобные агенты AI, такие как Microsoft 365 Copilot, Openai Operator, Google Gemini и Salesforce Einstein, могут автономно предпринять действия от имени пользователей, и эти действия в значительной степени создаются с использованием платформ разработки LCNC.
Это не только программное обеспечение как поставщики услуг (SAAS); Он также придерживается силы в облаке с помощью Bedrock, Azure AI Studio, Vertex AI и многого другого. Эти инструменты используются бизнес -пользователями, а также могут быть настроены и расширены с использованием разработки LCNC. Кроме того, методы создания действий и соединений данных с другими системами, приложениями и источниками знаний построены с низким кодом.
Безопасность больше не может позволить себе считать блокатором; Вместо этого он должен действовать в качестве фактора для бизнеса. Тем не менее, эти новые интеллектуальные и ориентированные на действие агенты искусственного интеллекта ставят серьезные вопросы о управлении, безопасности и непреднамеренных последствиях организаций, расширяющих возможности принятия решений, управляемых ИИ, которые могут легко избежать традиционных контролей безопасности.
LCNC подготовил почву для агентов искусственного интеллекта
Агенты искусственного интеллекта полагаются на инструменты с низким кодом, чтобы обеспечить большие языковые модели (LLMS) и другие модели искусственного интеллекта стать агентом, позволяя любому соединять агенты к различным наборам данных и базам знаний, чтобы дать агентам различные действия. Более того, LCNC позволяет строительным агентам с нуля, позволяя любому возможность выбирать правые LLM, действия, потоки и так далее.
Агенты ИИ принимаются на все больше и больше предприятий, поскольку они ищут преимущество для своих бизнес -пользователей. Исследователи из Gartner полагают, что к 2028 году не менее 15% ежедневных деловых решений будут приниматься автономно через агент AI. Давайте рассмотрим:
- Разработка пользователей: Агенты LCNC и AI позволяют неэхническим пользователям создавать мощные приложения, изменяя инновации за пределами традиционных команд разработчиков.
- Автономные рабочие процессы: Агенты искусственного интеллекта требуют доступа к различной автоматизации LCNC и потокам, чтобы принимать решения в режиме реального времени, погруженные в бизнес-данные и контекст, а не на выполнение статической логики.
- Интеграционные экосистемы: Агенты ИИ процветают в среде, где они могут взаимодействовать на нескольких платформах, с многочисленными базами знаний, триггеров и действий. Как и LCNC, агенты полагаются на предварительные разъемы и API, чтобы «идти».
Агентские платформы вводят новые риски
Любой также может создавать, настраивать и использовать свои автономные агенты искусственного интеллекта, которые динамически помогают, выполнять и интегрировать в бизнес -процессы.
Эта революция позволяет кому -либо создавать мощных агентов ИИ, которые могут думать, разумно и вести себя как люди, чтобы помочь разгружать задачи, автоматизировать процессы и повысить эффективность. Тем не менее, это также вводит проблемы безопасности в масштабе. Учитывать:
- Shadow AI риски: Бизнес -пользователи могут создавать агенты искусственного интеллекта без обеспечения безопасности или его надзора, что приводит к неизвестным и неконтролируемым системам, постоянно сбивая и предпринимая действия без людей в цикле.
- Уязвимости: Агенты искусственного интеллекта требуют доступа к корпоративным системам и данным, но когда меньше технических пользователей настраивают эти интеграции, они часто дают им чрезмерно широкие разрешения, которые увеличивают поверхности атаки и риски утечки данных.
- Экспозиция данных: Эти рабочие процессы, управляемые AI, взаимодействуют с несколькими системами, другими агентами, приложениями и корпоративными данными, увеличивая риск обмена непреднамеренными данными, утечки и эксфильтрации.
- Быстрое программное обеспечение: По мере того, как агенты искусственного интеллекта принимаются по всему бизнесу, плохие субъекты могут использовать прямую и косвенную оперативную инъекцию, направленную на джейлбрейк или компромисс агентов ИИ с подсказками, скрытыми инструкциями и сложными атаками.
- Джейлбрейки: Мало того, что агенты ИИ могут манипулировать подсказками или отравлять их основные данные, но и агенты также могут быть превращены в опасных фишинговых инсайдеров или машин социальной инженерии, даже не требуя компромисса учетной записи.
Агентные платформы искусственного интеллекта расширяют революцию с низким кодом, позволяя кому-либо создавать или расширять агенты ИИ, способные к динамическому, автономному принятию решений. Тем не менее, чем более доступными становятся агенты ИИ, тем труднее они будут обеспечить.
Задача безопасности: больше власти, больше риска
С большей доступностью и автоматизацией станет больший риск. LCNC ввел новые проблемы безопасности и управления, позволяя практикующим специалистам, не имеющим безопасности, создавать и развернуть критически важные приложения, тем самым уклоняясь от жизненного цикла разработки программного обеспечения, инструментов CI/CD и инструментов AppSec, которые основаны на сканирующем коде для уязвимостей. Агент AI поднимает ставки, усиливая эти проблемы безопасности:
- Автономный риск принятия решений: Агенты ИИ действуют динамически, иногда так, как их создатели не ожидают.
- Экспозиция данных: Агенты ИИ полагаются на критически важные данные, увеличивая вероятность конфиденциальной утечки данных, когда ограждения неверно настроены или обходят.
- ИИ тень и риски соответствия: Как и в Shadow IT в LCNC, агенты искусственного интеллекта часто появляются вне службы безопасности, что делает управление еще более сложным.
Даже Йошуа Бенгио, пионер ИИ, часто называемый «крестным отцом ИИ», прозвучал тревогу на агентском ИИ. На Всемирном экономическом форуме в Давосе он подчеркнул необходимость строгих правил и упреждающей безопасности, прежде чем агенты искусственного интеллекта станут широко встроенными на предприятия. Он предупредил, что отсутствие надзора может привести к непреднамеренному и небезопасному поведению, что приведет к масштабированию управления и проверки управления и выполнения.
Способность агентов ИИ действовать автономно вводит новые векторы атаки, проблемы управления и нормативные риски.
Защита агентов ИИ требует глубокого подхода
Хотя история не повторяется, она рифмуется. Мы можем искать подсказки из прошлых тенденций безопасности, чтобы увидеть, будет ли работать предотвращение потери данных (DLP) или подход типа брандмауэра для защиты агентов. Подходы обнаружения и ответа ИИ (AIDR) требуют поведенческого понимания агентов, которые могут связать эксплуатацию с поведением агента выполнения. В то время как управление информацией и данных может быть основополагающим, чтобы по-настоящему защитить агенты искусственного интеллекта, нам нужна углубленная защита.
Для агентов искусственного интеллекта это означает идти глубже, чем подсказки и ответы, понимание и получение видимости в том, что и почему агенты ведут себя так же, как и они. Это включает в себя комплексную программу управления положениями по обеспечению безопасности (AISPM), чтобы погрузиться в глубокое поведение, чтобы понять поведение агента искусственного интеллекта, означающую шаги и действия, которые он предпринимает при запросе, с какими приложениями и агентами он взаимодействует и касается, и какие данные он обращается и обрабатывает. Агенты ИИ по своей природе действуют и обрабатывают информацию, такую как люди, поэтому команды безопасности должны разработать инсайдерские модели угроз для разработки базового уровня для нормального поведения, которое может легко обнаружить аномальное поведение, и по -настоящему видит, что делают агенты в тени.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Бен является генеральным директором и соучредителем Zenity, с обширным опытом в отрасли кибербезопасности более 16 лет. Его опыт варьируется от практической кибербезопасности, строительства команды и лидерства до бизнес-стратегии и управления. «Я взволнован путешествием … Читать дальше от Бена Клигера
