Ранее в этом месяце, сопровождающий Curl Daniel Stenberg, пожаловался на LinkedIn на поток сообщений об ошибках «AI Slop», который входил. «Вот и все. У меня было это», — написал он. «Я ставлю ногу на это сумасшествие».
Проект был «эффективно, чтобы быть ddosed», написал он. А виновником был волонтеры на сайте Bug Bounty Hackerone.
Стенбергский пост LinkedIn поступил более 250 комментариев — и более 600 репостов. Инцидент начал более широкую дискуссию вокруг Интернета о эпохе, на которую мы наткнулись,-и как именно мы должны отвечать на людей, связанных с ИА.
Таким образом, в то время как Стенберг все еще ценит отчеты о безопасности краудсорсинга от Hackerone, он дал понять, что надеется увидеть некоторые изменения в будущем-как небольшие изменения, так и большие.
Результаты не происхождение
На прошлой неделе произошло две вещи. В пятницу, 16 мая, соучредитель Hackerone/CTO/CISO Алекс Райс подтвердил свою позицию, что код поведения Hackerone «не запрещает использование ИИ для оказания помощи в написании отчетов», но он запрещает спам. «Отчеты, которые содержат галлюцинированные уязвимости, расплывчатое или неправильное техническое содержание или другие формы низкоэффективного шума, будут строго рассматриваться как спам и привести к принудительным действиям в соответствии с нашим кодексом поведения».
В ответ на вопросы из нового стека Райс подчеркнул, что отчеты должны быть «ясными, точными и действенными» — но этот хакерон остается официально сосредоточенным на результатах, а не на происхождении. «Мы считаем, что ИИ, при ответственном использовании, может быть мощным инструментом для исследователей, повышение производительности, масштаба и воздействия. инновации в этом пространстве ускоряются, и мы поддерживаем исследователей, которые используют ИИ для повышения качества и эффективности своей работы.
«Что касается вопроса о количестве, мы на самом деле видим совокупное увеличение качества отчетов, поскольку искусственное интеллект помогает исследователям привнести ясность в их работу», — добавила Райс. «Несмотря на то, что мы не появились широко распространенными доказательствами галлюцинаций, сгенерированных AI, эти отчеты могут быть разочаровывающими для проверки, и, следовательно, является проблемой, которую мы активно решаем».
Стенберг не против ИИ, который определяет уязвимости для сгиба. «Я убежден, что для этой цели будут появляться инструменты, использующие ИИ, которые на самом деле работают (лучше) в будущем, по крайней мере, часть времени», — написал он в начале 2024 года, — поэтому я не могу и не скажу, что ИИ для поиска проблем безопасности всегда всегда является плохой идеей.
«Однако я подозреваю, что, если вы просто добавите в микс постоянную (интеллектуальную) человеческую проверку, использование и результат любых таких инструментов станут намного лучше. Я подозреваю, что это будет верно в течение долгого времени в будущем».
В этом месяце Стенберг сказал в LinkedIn, что «мы до сих пор не видели ни одного действительного отчета о безопасности, сделанном с помощью ИИ». Но это возможные отчеты, сгенерированные AI, могли помочь другим проектам. На LinkedIn Stenberg определил отчет «AI Slop», который «действительно подтолкнул меня к пределу». Но инженер -программист Рэнди Клинтон отметил, что тот же репортер, казалось, уже заработал более 1900 долларов в настителях ошибок от других участников Hackerone, включая Adobe и Starbucks.
В своих комментариях к новому стеку Райс добавил свою точку зрения. «В целом, мы наблюдаем совокупное увеличение качества отчетов, поскольку ИИ помогает исследователям привести ясность в их работу, особенно когда английский язык является вторым языком… ключ — это обеспечение того, чтобы ИИ улучшил отчет, а не внедряет шум».
Короче говоря, по его словам, цель хакерона «состоит в том, чтобы поощрять инновации, которые стимулируют лучшие результаты безопасности, одновременно приводя при этом все представления в соответствии с теми же высокими стандартами».
Стенберг принимает меры
Тем временем, в четверг, 15 мая, Стенберг объявил о новом руководстве Керла для использования ИИ участниками, четко прояснив то, что он хотел бы увидеть в будущем. «Если вы попросили инструмент искусственного интеллекта, чтобы найти проблемы в Curl, вы должны убедиться, что в своем отчете выявите этот факт». (И отвечая «да» гарантирует «поток» последующих вопросов, чтобы доказать, что на другой стороне отчета есть какой-то настоящий человеческий интеллект, предупредил Мастодон.)
К янвату 2024 года Керл уже выплатил 70 000 долларов на боунеты с ошибками (за 64 подтвержденных проблемы безопасности), написал Стенберг в сообщении в блоге. Но отчет о безопасности «дерьма» означает «мы пропустили время по исправлению ошибок или разработке новой функции. Не говоря уже о том, как она истощает вас на энергии, необходимая для борьбы с мусором».
Таким образом, новые руководящие принципы использования ИИ в этом месяце предупреждают, что «вы также должны тщательно проверить результаты, прежде чем сообщать нам нам, чтобы подтвердить, что проблемы действительно существуют и работают точно так же, как говорит ИИ. Инструменты, основанные на искусственном интеллекте, часто генерируют неточные или сфабрикованные результаты». Предупреждая, что отчеты об ошибках, обнаруженные AI, могут быть слишком многословными (даже до их слишком распространенных «сфабрикованных деталей»), руководящие принципы сообщают пользователям сначала убедиться, что проблема реальна, а затем «напишите отчет самостоятельно и объясните проблему, как вы ее узнали.
«Это гарантирует, что неточности, сгенерированные AI, и изобретенные проблемы, отфильтрованные рано, прежде чем они тратят больше времени».
Это искренняя попытка объяснить, как «шляпа AI» мешает продвижению проекта вперед, поскольку Curl должен серьезно относиться к отчетам о безопасности и быстро их расследовать. «Эта работа — как время, так и энергия, и отвлекает нас от другой значимой работы.
«Фальшивые и в противном случае выдуманные проблемы безопасности эффективно мешают нам выполнять реальную работу по проекту и заставляют нас тратить время и ресурсы.
«Мы немедленно запрещаем пользователей, которые отправляют в проект представленные фальшивые отчеты».
Стенберг также, кажется, желает, чтобы был финансовый штраф, поскольку его пост LinkedIn добавляет, что «если бы мы могли, мы бы взимали с них за эту трату нашего времени».
«Сделай это звучащим тревожным»
Ранее в этом месяце Стенберг сказал Ars Technica, что он был «очень счастлив». Проблема заключалась в том, чтобы привлечь внимание, — так что, возможно, мы можем что -то с этим сделать… ». Он считает это шансом научить более крупное сообщество, что« LLMS [large language models] Не могу найти проблемы безопасности, по крайней мере, не так, как они здесь используются ». Стенберг также рассказал сайту, что через неделю он получил четыре явных явных отчетов об уязвимости-и что их легко обнаружить, потому что они дружелюбны и вежливы, с идеальными английскими и хорошими пулевыми очками.
Стенберг вспомнил, что один пользователь фактически оставил свое подсказку в отчете об ошибке: «И он закончил его» и заставил его звучать тревожно ».
И в начале мая в одном отчете утверждалось, что он обнаружил доказательства коррупции памяти, с анализом, показывающим рекурсию стека из функции:
ngtcp2_http3_handle_priority_frame.
Была только одна проблема.
«Там нет никакой функции, названной такой…» Стенберг обнаружил, что публикует. Позже он согласился со встроенным системным консультантом Жан-Люком Ауфранком, который суммировал такую ситуацию на LinkedIn: «[T]Он создал случайную функцию… которой не было в коде, и для того, чтобы идти вперед ».
В более позднем комментарии Стенберг сказал, что это растущее явление. В своем посте в блоге 2024 года Стенберг подчеркнул подозреваемый отчет, сгенерированный AI, что «смешивает и сочетает факты и детали из старых проблем безопасности, создавая и составляя что-то новое, что не связано с реальностью…». Однако Стенберг добавил в LinkedIn в этом месяце, что «такие отчеты не существуют много лет назад, и этот показатель, похоже, увеличивается».
Таким образом, в то время как сгенерированные AI комментарии «все еще не тонут нас… эта тенденция выглядит не очень хорошо».
‘Что -то сильное’
Стенберг также сказал Ars Technica, что он хотел бы, чтобы Hackerone делал «что -то, что -то сильное, чтобы действовать». Он даже готов помочь им построить необходимую инфраструктуру для создания «большего количества инструментов для преодоления такого поведения».
Но когда тестер безопасности на LinkedIn предположил, что настало время выбросить модель краудсорсинга Bug Bounty и нанять специализированных сотрудников », Стенберг не согласился.
«Наша награда за ошибку заплатила 86 000 долларов за 78 подтвержденных уязвимостей. Ни один профессионал не приблизится даже к этому соотношению затрат/производительности». Кроме того, он отмечает, что Керл удалось финансировать ровно одного штатного сотрудника. «Я хотел бы нанять больше людей, но мы изо всех сил пытаемся заставить компании поддержать нас».
Тобиас Хельдт, соучредитель компании по кибербезопасности Xor, подумал, нужен ли процесс отчетности об ошибках, например, «если исследователи должны были нанести небольшой депозит на их представление», который был возвращен только в том случае, если их отчет был оценен как очистка основного порога для информативности. Позже Хелдт называет эту идею «облигациями отчета о безопасности», утверждая, что «без нее, вскоре большинство отчетов будут из программ Bots Brute-Clorcing Bounty».
Стенберг согласился «это может быть работоспособной моделью», предположив, что, возможно, такие компании, как Hackerone, должны взять на себя инициативу.
Сет Ларсон из Python Software Foundation (Pycon 2025).
Джим Кловер, директор IT/Service Company Varadius Ltd, разработал новое решение. Он проверил «AI Slop», спросив CHATGPT O3, который правильно ответил, что это было «технически невысоко… цитирует функции, которые не существуют». Заключение Клера? «Не могли бы вы протолкнуть их через ИИ (о ирония) в качестве проверки BS, чтобы сэкономить вам время, ребята?»
Но разработчик безопасности Python Seth Larson уже пришел к противоположному выводу, поделившись сообщением в блоге, которое он написал в марте под названием «Не приносите скалью в склонный бой».
«[U]Петь ИИ для обнаружения и фильтрации контента ИИ просто означает, что будет использоваться еще более генеративное ИИ, а не меньше. Это не тот сигнал, который мы хотим отправить в венчурные капиталисты, которые решают, предложить ли эти компании больше инвестиционных денег ».
Ответы и реакции
Не ясно, что будет дальше. «Люди, которые хотят злоупотреблять системой, будут продолжать делать это независимо от того, что присутствует флажок»,-написал старший разработчик полного стека Дамиан Маллиган на LinkedIn.
Инженер программного обеспечения DataBricks Hasnain Lakhani задавался вопросом, что он будет делать, когда люди просто солгали, использовали ли они ИИ. («Похоже, гонка вооружений», — предложил он, с проектами, нуждающимися в инструментах для экрана для ИИ.)
Было зловещее предупреждение от Хелдтта. «Счет AI — это подавляющие содействия * сегодня *, и он не остановится на Curl, но только начинается там».
Но, возможно, эффективные усилия для решения проблемы уже начались. Когда кто -то на Мастодоне спросил Стенберга, можно ли перепрофировать новые руководящие принципы Керла о вкладе искусственного интеллекта для другого проекта, у Стенберга был готовый ответ.
«Абсолютно!»
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Дэвид Кассель — гордый житель района залива Сан -Франциско, где он освещал технологические новости более двух десятилетий. За эти годы его статьи появлялись повсюду от CNN, MSNBC и The Wall Street Journal Interactive … Подробнее от Дэвида Касселя
