Несколько месяцев назад инженер платформы в Fintech Wired Wiredai в среднем размере в трубопровод Terraform. Он не пытался скрыть это. Он просто хотел автоматически пометить облачные ресурсы, и LLM обрабатывал их лучше и быстрее, чем все, что команда строила внутри. Но когда охрана поразила это? Аудиторская паника. Обзор риска. Ретроактивные одобрения. Звучит знакомо?
LLM теперь представляют новую тень. Они проскальзывают в среду быстрее, чем могут отслеживать большинство орг.
Shadow AI означает, что разработчики интегрируют модели крупных языков (LLMS) или Genai Systems в производственные рабочие процессы без одобрения. Они тестируют подсказки по данным клиентов в прямом эфире, звонят Openai из мошеннических сценариев и раскрывают тонкие модели на кластерах графических процессоров, не информируя о безопасности или управлении. В то время как разработчики могут не намереваться вводить риск, эти действия полностью обходят видимость, контроль и политику.
Почему это продолжается? Потому что разработчикам не нужно разрешение на установку пакета Python. Потому что использовать ключ API проще, чем отправить билет Jira. Потому что ИИ работает. И это та часть, которую никто не хочет сказать: эти инструменты часто более полезны, чем санкционированные альтернативы.
Мы видели, как LLMS используется для автоматической инфраструктуры, классификации оповещений, генерирует заглушки DOC соответствия и раскрывает внутренние инструменты поиска поверх баз знаний. Мы также видели, как они тихо встроены в рабочие процессы CI/CD, похороненные внутри сценариев, никто другой обзоры. Иногда они даже превращаются в производственные трубопроводы, и никто не помечал зависимости. Это не гипотетические кромки — они случаются в каждой компании, с которой мы разговариваем.
Shadow AI — это не просто разработчик режущий углы. Это сигнал. Он говорит вам, где ваш инструмент слишком медленный, слишком жесткий или просто отсутствует. Но вы теряете доверие, если проигнорируете его — или, что еще хуже, попытайтесь зажарить, не предлагая альтернативы. Вы толкаете эту деятельность глубже под землей. И в конце концов, вы платите за это с нарушением, сбоем аудита или кошмаром поддержки, когда никто не знает, как работает этот быстрый трубопровод.
Риски реальны. Разработчики могут утечь PII или запатентованную логику, отправив подсказки на внешние API. Они могут создавать разрастание модели — рабочие процессы зомби, никто не владеет и не поддерживает. Они могут вводить невидимые зависимости, которые молча дрейфуют между окружающей средой. И они делают это с нулевым журналом, без процесса обзора и без аудита.
Некоторые организации начинают наверстать упущенное. Они построили правила обнаружения, которые помечают исходящий трафик для Openai или Anpropic. Они сканируют для модели API в исходном коде или подозрительное поведение во время выполнения. Они смотрят на телеметрические узоры и аномалии отслеживания, которые напоминают быстрое использование. Иногда они даже выпекают наблюдаемость LLM в инструменты облачной безопасности или платформы EDR. Это рано, но это начинает происходить.
Самые зрелые команды выходят за рамки обнаружения точек. Они отображают, где работают рабочие нагрузки ИИ, что они делают, и как они взаимодействуют с конфиденциальными системами и данными. Они создают видимость не только в том, когда модель работает, но и которая построила ее, где она живет, и соответствует ли она политике. Вот как вы переходите от реакции Whack-A-Mole к устойчивому управлению. Если вы видите, где используется ИИ, вы можете управлять им, направлять его и принести его в склад, не убивая инновации.
Тем не менее, только обнаружение не решает проблему. Если ваш единственный шаг — это закрыть вещи, вы оттолкнете разработчиков, пытающихся решить реальные проблемы. Более блестящая стратегия предлагает ограждения, а не препятствия. Предоставьте безопасные внутренние шлюзы для утвержденных моделей. Разверните песочницы со встроенными наблюдением. Дайте командам возможность экспериментировать с ИИ, который не оставляет их открытыми — или невидимыми.
Вам все равно понадобится политика. Вам все равно понадобится надзор. Но если вы создаете разумные значения по умолчанию, люди будут их использовать. Если вы ведете контроль, они будут направляться вокруг вас.
LLM уже являются частью вашего стека, независимо от того, планируете ли вы для них или нет. Они встроены в сценарии, трубопроводы и рабочие процессы в вашей организации. Вы не можете помешать разработчикам использовать LLMS. Но вы можете убедиться, что вы не последний, кто узнает.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Джимми Места — основатель и директор по технологиям RAD Security. Он отвечает за технологическое видение платформы безопасности RAD. Лидер по безопасности ветеранов, сосредоточенный на строительстве решений по обеспечению безопасности облака, Джимми обладал различными … Подробнее от Джимми Места
