ИИ используется для открытия поддельных запросов функций в репо с открытым исходным кодом, по словам некоторых сопровождающих. До настоящего времени были зарегистрированы проблемы с ИИ в Curl, React, CSS и Apache Airflow.
Неизвестно, насколько широко распространена проблема, но достаточно плохо, что активисты говорят об этом. Jarek Potiuk является коммитиром и членом PMC Air Platform, платформы с открытым исходным кодом, которая позволяет пользователям разрабатывать, планировать и контролировать трубопроводы данных. Потюк обнародовался о запросах, связанных с ИИ на LinkedIn на прошлой неделе и рассказал TNS о своем опыте.
Удвоить проблемы
Содействия воздушным потокам Apache заметили, что они почти вдвое превышают количество проблем, поданных один день, до 50 от обычного прогона более 20-25. Они исследовали и заметили, что проблемы казались очень похожими, но на самом деле не имели смысла. Они начали подозревать, что ИИ создал эти фальшивые проблемы.
«За последние дни и недели мы начали получать много проблем, которые не имеют смысла и являются либо копиями других проблем, либо совершенно бесполезны и не имеют смысла», — объяснил Потюк в своем посте LinkedIn. «Это требует ценного времени, которые должны оценить и закрывать проблемы».
Потюк объяснил нам, что представления искусственного интеллекта не просто создают больше работы для сопровождающих; Они также могут привести к тому, что законные проблемы упускаются из виду или неправильно закрыты.
«У нас есть около 30 проблем в день, может быть, 40, но сейчас через 24 часа у нас еще 30, так что на 100% больше, это означает, что мы не могли принимать столько решений на других вещах, потому что нам пришлось Принять решения: это хорошая проблема или плохая проблема? » он сказал. «Из -за очень вредного эффекта этого было как минимум две или три вопроса, которые были созданы реальными людьми, и некоторые из апетионов, которые уже чувствительны, они закрыли их как спам».
Позже он рассмотрел проблемы и заметил два -три вопроса, которые были закрыты, но законны. Он вновь их открыл, но есть потенциал, чтобы упустить реальную проблему. Он также слышал от других сопровождающих, которые столкнулись с аналогичной проблемой с «странными» запросами, хотя у них не было столько проблем, сколько и воздушный поток.
Отслеживание проблемы ИИ
Потюк умолял тех, кто связан с вопросами, основанными на искусственном интеллекте, чтобы объяснить, что происходит. Один отправитель обратился с извинениями.
Человек также сказал Потюуку, что он следовала образовательному видео с ИИ Outlier об использовании искусственного интеллекта для представления проблем в репо. Человек не знал, что он подчинялся настоящему репо.
«Выброс. Вы делаете это неправильно », — написал Потюк в посте LinkedIn, в котором отмечалось выброс. «Пожалуйста, остановите всех людей, которых вы обманываете, создавая создание AI, совершенно глупого во многих репозиториях с открытым исходным кодом».
Outlier — это платформа, которая набирает экспертов по предметным вопросам, чтобы помочь обучить генеративный ИИ. Это также единорог Силиконовой долины и дочерняя компания по масштабе AI.
Сначала Потюк подумал, что Улитье каким -то образом пытается обучить ИИ на их ответах на запросы, но это оказалось неверным.
«Выброс. Вы делаете это неправильно. Пожалуйста, остановите всех людей, которых вы обманываете, создавая, сгенерированные ИИ, совершенно бессмысленные проблемы во многих репозиториях с открытым исходным кодом ».
— Джарек Потюк, комитет и член PMC Airflow Apache
Потюк сказал, что представители по шкале сказали ему, что они не намерены, чтобы зрители видео подали запрос с фактическими репо. Предполагалось, что это было просто упражнение в создании проблем. Они также отрицали, что пытались использовать репо для обучения их ИИ.
«Вы будете работать над различными проектами от создания учебных данных в вашей дисциплине, чтобы продвинуть эти модели для оценки производительности моделей», — говорит Outlier в своем часто задаваемых вопросах.
Шкала снизилась на интервью в рекорде, но передал новый стек на свой ответ LinkedIn, где Джордж Кураиши, который занимается OPS в масштабе AI, писал:
«Для контекста мы постоянно изучаем новые способы обучения и оценки моделей; Кодирование — это одна область интереса. В частности, цель этого проекта состояла в том, чтобы научить модели, как помочь разработчикам проанализировать проблемы и внедрить изменения кода — не представлять эти билеты в ваше репо », — написал он. «К сожалению, небольшое количество наших участников неверно истолковало требования проекта и предпринял этот дополнительный шаг. Мы сразу же обновили требования, чтобы сделать их более ясными ».
Он продолжал говорить, что масштаб ценит, что и в масштабе, и что они «абсолютно не заинтересованы в целенаправленном отправке билетов на сопровождающие неудобства».
Это не первый раз, когда Outlier привлек внимание прессы для своих действий. Прошлым летом INC.com сообщила, что некоторые работники обвинили выброс в том, что он мошенничество после того, как компания не заплатила их.
AI Spaming Security
Маловероятно, что эта проблема просто вызвана одной компанией ИИ. ИИ также используется для отчетов о безопасности спама.
Проблема восходит, по крайней мере, в начале 2024 года, когда автор курчания Дэниел Стенберг написал об этом. Совсем недавно, разработчик безопасности в резиденции в Python Software Foundation, Сет Ларсон, вызвал эту проблему.
«Недавно я заметил рост чрезвычайно низкокачественных, спам-спам и LLM-галлуцированных отчетов о безопасности для проектов с открытым исходным кодом»,-написал Ларсон. «Проблема в возрасте LLMS; Эти отчеты кажутся на первый взгляд, чтобы быть потенциально законными и, следовательно, требуют времени для опровержения ».
Проблема была «распределена по тысячам проектов с открытым исходным кодом, и из-за чувствительного к безопасности характер отчетов, которые сопровождающие, не поощряют, обмениваться своим опытом или просить о помощи»,-написал Ларсон.
«Недавно я заметил рост чрезвычайно низкокачественных, спам-спам и отчетов о безопасности LLM для проектов с открытым исходным кодом».
-Сет Ларсон, разработчик безопасности в резиденции, Python Software Foundation
Ларсон умолял разработчиков не использовать ИИ или LLMS для обнаружения уязвимостей.
«Эти системы сегодня не могут понять код, поиск уязвимостей безопасности требует понимания кода и понимания концепций на уровне человека, таких как намерения, общее использование и контекст»,-написал он.
Он также предложил немного размышления, проходит долгий путь.
«Некоторые репортеры будут использовать различные инструменты сканирования безопасности и открывать отчеты об уязвимости, основанные на результатах, казалось бы, без момента критического мышления», — написал он. «Например, Urllib3 недавно получил отчет, потому что инструмент обнаружил наше использование SSLV2 как небезопасное, даже если наше использование — явно отключить SSLV2».
Могут ли некоторые атаки стать государственными актерами?
Крейг МакКлаки, соучредитель Kubernetes, а теперь и основатель и генеральный директор Stacklok, сказал TNS, что его команда обнаружила, что кто-то пытается засадить репо, создавая пакеты с аналогичными именами в известные пакеты.
Они обнаружили, что кто -то пытается обмануть протокол чая, который является децентрализованной основой для управления распознаванием и компенсацией разработчикам программного обеспечения с открытым исходным кодом.
«Они публиковали тысячи, тысячи и тысячи пакетов, с единственным намерением сделать эти пакеты выглядеть так, как будто они были важной частью экосистемы с открытым исходным кодом», — сказал МакЛакси. «Только объем этих засадных пакетов, он просто проходит через крышу, и мне кажется, что, например, для кого -то, чтобы производить громкость и такие небольшие вариации, которые мы видим, вероятно, есть генеративный агент ИИ Сцены ».
Он поговорил с разработчиками протокола чая, которые согласились, что это «определенно плохое поведение», а затем работал с NPM, чтобы снять пакеты.
МакКласи подозревает, что государственный актер находился за представлениями.
«Все чаще используется генеративный ИИ для создания световых вариаций чего -либо и просто делать это в масштабе, и я думаю, что это только ухудшится», — сказал он.
Отвечая на представления искусственного интеллекта
Инженер GitHub опубликовал в нить LinkedIn от Потюка, что они изучают проблему, поэтому TNS спросил GitHub о его реакции на проблему представлений ИИ на репо.
«GitHub занимает более 150 млн разработчиков, строящих более 420 млн репозиториев и стремится предоставить безопасную и безопасную платформу для разработчиков», — сказал представитель TNS. «У нас есть команды, занимающиеся обнаружением, анализом и удалением контента и учетных записей, которые нарушают наши приемлемые политики».
GitHub добавил, что они используют ручные обзоры и масштабные обнаружения, которые используют машинное обучение и постоянно развиваются и адаптируются к состязательной тактике.
«Мы также призываем клиентов и членов сообщества сообщать о жестоком обращении и спаме», — сказал представитель.
Потюк также предположил, что сопровождающие продолжают сообщать о представлениях ИИ в GitHub. Он также посоветовал группам с открытым исходным кодом работать с «хорошими» компаниями ИИ для выявления фальшивых проблем. Его команда работает с компанией искусственного интеллекта под названием Dosu, которую он нашел полезным для сортировки по вопросам. Это совсем другой опыт, потому что компания ИИ работает в тесном контакте с командой, добавил он.
«Они автоматически назначают этикетки для проблемы, основанного на контенте, который создают люди, и это позволяет нам классифицировать проблемы, не тратя много времени», — сказал он TNS. «Они поговорили с нами. У нас были звонки с ними, и они объяснили это нам, и они дали нам это бесплатно, чтобы делать проекты с открытым исходным кодом ».
Старший редактор TNS Джоаб Джексон внес свой вклад в эту статью.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Loraine Lawson — ветеран -репортер, который в течение 25 лет освещал технологические проблемы от интеграции данных до безопасности. Прежде чем присоединиться к новому стеку, она работала редактором Banking Technology Site Bank Automation News. Она … читайте больше от Лорейн Лоусон
