Шкала экосистемы ИИ с открытым исходным кодом ошеломляет. Вы найдете более 1,5 миллионов моделей для обнимающегося лица в одиночку, причем больше моделей приходится тысячам каждый месяц. Работа с ИИ может чувствовать себя как современная золотая лихорадка, где все копают и гоняются, чтобы поставить претензию. Импульс захватывающий, но, как и любой спешник, он приносит как возможность, так и хаос. Без надлежащих гарантий этот хаос может быстро стать значительным риском.
Победители AI Rush не будут теми, кто стратегически погружается, с целью и подготовкой, направляя их импульс. Хотя недавние исследования показывают, что 74% компаний пытаются достичь и масштабировать стоимость ИИ, а разочаровывающая отдача от инвестиций затрагивает 18% неудачных пилотов ИИ, наиболее успешные организации не полностью избегают гонки — они вступают в нее с информированной срочностью.
Это именно момент, чтобы действовать. В связи с тем, что 30% предприятий по генеративным проектам искусственного интеллекта в 2025 году из-за плохого планирования и неясной ценности для бизнеса у компаний имеют уникальную возможность учиться на ошибках других, создавая основу для долгосрочного успеха. Нынешний ландшафт не является предостерегающей историей против инвестиций в области искусственного интеллекта — это дорожная карта для правильного дела.
Подготовка начинается с сильного фонда безопасности, поддерживаемого постоянным анализом. Успешные компании изучат местность, поймут, где лежат подводные камни, и узнают, как определить подлинные возможности. Они смогут оценить, что работает — и что еще более важно, что не так — чтобы создать устойчивую ценность ИИ, которая обеспечивает измеримую прибыль.
Минимизация этого риска в этом быстро развивающемся ландшафте не невозможно, но он требует плана. Вот четыре способа, которыми я советую клиентам, когда они ориентируются на сегодняшнюю границу ИИ.
Сделайте измерение частью вашего рабочего процесса ИИ
Тщательное измерение на протяжении всего жизненного цикла ИИ жизненно важно для любых усилий по безопасности. Определение четких целей и метрик обеспечивает структуру для вашей безопасности и гарантирует, что вы можете добиться результатов, которые имеют значение, не жертвуя безопасностью, чтобы добраться туда. Эти базовые показатели и показатели служат основой для разработки стратегий упреждающего обнаружения и смягчения.
Стремитесь определить угрозы до того, как их эксплуатируют путем изучения телеметрии приложений, модельного происхождения, инфраструктуры развертывания и эффективности применения в отношении оценки. Поскольку системы ИИ масштабируются и диверсифицируются, их поверхности риска. Включив в свой рабочий процесс непрерывный, реальный анализ, вы создаете как устойчивость, так и уверенность.
Выходить за рамки статического и динамического тестирования безопасности приложений
После того, как ваш основополагающий анализ будет настроен, тестирование безопасности помогает гарантировать, что ваши упреждающие защиты не просто теоретические. Традиционные методологии тестирования, такие как SAST и DAST, являются хорошим началом, но недостаточны для применений ИИ. Эти новые приложения требуют дополнительного тестирования и ограждений, которые выходят за рамки сегодняшних стандартных практик и за пределами стандартных контрольных показателей и тестов, используемых на самих моделях.
Статическое тестирование безопасности приложения (SAST) сканирует код перед его запуском. Этот процесс поможет идентифицировать уязвимости на раннем этапе, но он требует доступа к исходному коду. Динамическое тестирование безопасности приложений (DAST) рассматривает поведение во время выполнения, чтобы раскрыть угрозы, возникающие в живых системах, но предполагает предсказуемое поведение применения. При интеграции LLMS и генеративного ИИ вы не можете полагаться на эти предположения.
При тестировании приложений, которые интегрируют LLMS, вы часто не имеете доступа к исходному коду и данным обучения, и даже если вы это сделали, эти модели настолько сложны, что их очень трудно контролировать и предсказать результаты множества подсказок ввода. Вместо этого вы сосредотачиваетесь на том, что вы можете управлять: выбор модели, быстрого разработки, дезинфицирующая модель ввода/выходы, какие ресурсы имеют доступ к вашей модели/приложению, и какие данные используются для точной настройки модели.
Основание большого измерения позволит вам постоянно контролировать производительность применения и помечать критические потенциальные проблемы, которые могут быть смягчены приведенными выше шагами. Вы не можете избежать угроз в моделях ИИ, поэтому вы должны ожидать их и построить надлежащие меры для постоянного обнаружения, блокировки и смягчения их. Это критические шаги в средах искусственного интеллекта, где код, данные и модели постоянно находятся в потоке. Теперь вы следите за программным обеспечением и развивающейся экосистемой, на которую она опирается.
Продолжающаяся обучение безопасности с измеримыми целями с измеримыми целями
Это утверждение разочаровывает, но это правда: люди остаются самым слабым звеном в кибербезопасности. Плохие актеры не должны взламывать вашу систему, если они могут заставить вашу команду сделать это для них. Эти ошибки могут включать загрузку вредоносного пакета, щелчок по фишингу в инструменте ИИ или ответить на фальшивую голосовую почту от кого -то, кто позирует в качестве генерального директора. В быстро развивающемся мире искусственного интеллекта пьеса для кибербезопасности всегда меняется.
Нам нужно тренировки как по классическим методам атаки, так и по AI-угрозам. Старый способ бросить презентацию PowerPoint на экране и разговора на вашей аудитории, не разрешает ее. Вместо этого становятся более практичными в запланированных тренировочных сессиях и упражнениях, основанных на сценариях, которые отражают реальные атаки. Команды должны начать активно практиковать идентификацию уязвимостей модели и внедрять защиту от 10 лучших приложений OWASP для приложений LLM, включая быстрые атаки впрыска (где вредоносные входные данные манипулируют поведением модели), конфиденциальное раскрытие информации (предотвращение моделей от утечки модели PII или собственных данных) и отравление данных (защита от коррупционных данных, которые ставят накладку модели модели).
Обучение должно быть специфичным для роли. Инженеры, менеджеры по продуктам и ученые данных сталкиваются с разными рисками и используют разные инструменты. Обучение их на их собственном языке увеличивает взаимодействие и удержание.
И так же, как мы измеряем производительность модели, мы должны измерить результаты обучения. Посмотрите на скорости кликов при моделировании фишинга, отслеживайте, как быстро экранируются красные флаги (Mttd, Mttr), и следите за процентом пакетов AI, полученных на доверенных платформах. В безопасности то, что измеряется, усиливается.
Используйте доверенные распределительные пакеты и платформы
Подумайте о том, в последний раз друг рекомендовал ресторан, чтобы вы попробовали. Как вы приняли их совет? Если они гурман, с которым вы обедали раньше, и вы знаете, что ваши вкусы похожи, вы, вероятно, воспользовались этой возможностью. Но вы, возможно, были менее восторженными, если бы не доверяли их суждению. То же самое с инструментами и моделями с открытым исходным кодом: доверие-это все. В отличие от ресторанов, плохой выбор здесь может поставить под угрозу вашу безопасность, сломать ваш трубопровод или подвергнуть свою компанию на юридический риск.
Мы твердо веруют в доверие и прозрачность в сообществе с открытым исходным кодом. Не все пакеты сохраняются, и не все модели включают в себя четкое происхождение и метаданные. Некоторые могут даже быть обучены конфиденциальным или несоответствующим данным. Доверенное распределение имеет значение больше, чем когда -либо, а комплексное сканирование уязвимости и автоматические политики безопасности могут сократить инциденты безопасности до 60%.
Ищите распределительные пакеты и платформы, которые предоставляют:
- Проверенные, подписанные ресурсы с четкой линией
- Автоматизированное сканирование и исправление уязвимости
- Прозрачное лицензирование и контроль версий
- Экосистемное управление зависимостями
В Anaconda мы создали нашу платформу вокруг этих принципов, чтобы помочь удалить догадки с помощью безопасности и соответствия. Доверие — ваша лучшая защита в открытом исходном коде, и оно должно быть заработано, а не просто предполагается.
Даже с этими усилиями на вашей стороне, мы никогда не доберемся до того, что безопасность-это совершенно активная деятельность. Тем не менее, сейчас самое время начать разработку вашей безопасности и стандартов приложения AI. Индустрия ИИ движется быстро, и стандарты не определяются во многих областях, поэтому сейчас самое время учиться, экспериментировать и разрабатывать свои собственные стандарты и практики. Всегда будут улучшения, но эти движения намного проще, когда существует сильная структура. По мере того, как инструменты анализа данных становятся все сильнее, я рад видеть, что за золотые люди будут подходить.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Стив Кроче является полевым директором по технологиям Anaconda, где он связывает технические инновации с успехом клиентов для ведущей мировой платформы Python для ИИ и науки о данных. С более чем 20 -летним в технологической индустрии он сочетает в себе глубокий … Подробнее от Стива Кроче
