Грэм Нерай, генеральный директор и соучредитель Authorization Startup Oso, может указать на недавние примеры, чтобы привести к тому, что ИИ нарушает разрешение.
- В Supabase агент LLM с широкими привилегиями базы данных был обманут в утечке секретов.
- ServiceNow выпустил исправление уязвимости, в которой данные могут быть выведены без разрешения.
- Агент в Repit стал мошенничеством на кодовой базе и удалил всю производственную базу данных.
«В большинстве компаний сегодня мы принимаем определенное количество чрезмерного промежутка, чтобы люди могли выполнять свою работу… и мы можем сделать это, потому что есть этот конечный ограничение на ваше время или ресурсы как человека, чтобы делать плохие или глупые вещи»,-сказал Нерай.
«Если вы дадите агенту разрешение делать то же самое, что и любой человек, нет никакой гарантии, что он собирается делать то, что он должен делать. Нет никакой гарантии, что это не будет обмануто… это то, что я имею в виду, когда я говорю, что LLM действительно — парадигм сдвиг».
Большие языковые модели (LLM) являются быстрыми и неутомимыми, способными нанести ущерб на сверхчеловеческой скорости.
До быстрого роста ИИ программное обеспечение выполняло только действия, которые он специально запрограммировал. Агент, однако, изменил это с агентами, способными учиться, адаптироваться, принимать решения и принимать меры автономно.
По словам Нерея, обоснованный страх является причиной, по которой большинство компаний, принимающих ИИ.
В то время как у OSO нет ответов на данный момент, он сосредоточен на этом новом классе рисков безопасности.
ИИ добавляет к рискам безопасности
Управление Broken Access завершает список в 10 лучших рисках безопасности веб -приложений OWASP. И Gartner предсказал, что по крайней мере 30% генеративных проектов Genai будут отменены после подтверждения концепции к концу 2025 года из -за плохого качества данных, неадекватного контроля рисков и потому, что компании пытаются реализовать из них ценность.
«Никто не по доставке ИИ рабочих нагрузок, которые касаются конфиденциальных данных, потому что они не чувствуют, что они справляются с безопасностью, и они не хотят быть на первой странице The Wall Street Journal», — сказал Нерай.
Он процитировал три проблемы:
1. LLM не заслуживают доверия.
«LLMS интерпретирует естественный язык, что означает, что они могут неправильно понять вещи. Их можно обмануть, чтобы делать что -то. Они могут делать что -то случайно. И вы не можете позволить существом, которое является вероятностным и не детерминированным… определить, у кого есть доступ к тому, что. Это не может быть, вы знаете,« надежда, что LLM делает это правильно », — сказал он. По его словам, решать это — это то, что он говорит, что отрасль еще предстоит выяснить, поэтому важно установить контроль доступа куда -нибудь за их пределами.
2. LLMS нужно много разрешений, чтобы быть полезными
«Возможно, мне придется дать LLM много разрешений, чтобы выполнить свою работу, но я действительно хочу дать ему разрешения в любой момент для любой одной задачи. [These] намного, намного больше, чтобы ограничить плохие вещи, которые он мог бы сделать. И это другая модель », — сказал он.
Диаграмма Венна показывает, что пользователь может иметь определенный набор разрешений, а LLM — конкретный набор. Но требуемые разрешения для определенной задачи могут быть лишь гораздо меньшим подмножеством. Это потребует во время выполнения, радикально сужающееся разрешения для этой задачи.
«Это в основном похоже на динамическое изменение разрешений на что -то, что просто не то, что кто -то делает сегодня», — сказал Нерай.
3. Данные, которые нуждаются в LLM, хранятся в совершенно отдельном месте.
У вас может быть вектор, хранящийся в базе данных, но в базе данных приложений хранятся разрешения. Должен быть способ преодолеть этот разрыв.
OSO был построен для определения вашей логики авторизации в вашем приложении. Он напрямую интегрируется в уровень данных, недавно добавив интеграцию с SQLalchemy, которая автоматически выясняет вашу локальную конфигурацию авторизации с помощью LLMS. SQLALCHEMY — это библиотека Python с открытым исходным кодом, которая предоставляет инструментарий SQL и объект -реляционный Mapper (ORM), чтобы обеспечить гибкость для разработчиков, работающих с базами данных. Это позволяет вам фильтровать запросы базы данных на основе логики авторизации вашего приложения, которая применяется путем преобразования в фильтры SQL.
Доступный до сих пор только для Postgres, он изучает интеграции с MongoDB и Elasticsearch, а также ORM, такими как Prisma и Django.
Потребность в мелкозернистых разрешениях
В предыдущей статье Нерай объяснил, как вы можете использовать векторную базу данных и поколение поиска (RAG) для обеспечения разрешений в LLMS. Тем не менее, он утверждает, что наиболее часто используемые инструменты безопасности — протокол контекста OAuth и модели (MCP) — остаются неадекватными, чтобы заблокировать разрешения LLM на уровень задачи.
Он считает, что разрешения OAuth слишком крупные, чтобы быть полезными для разрешения на оценку задачи.
«Поставщики OAuth ведут, рассказывая о мелкозернистых разрешениях в OAuth, и то, что они означают, предпринимает все эти действия и разделяет их на вещи, которые очень конкретны: прочитайте электронную почту, удалите электронную почту, проекту электронной почты, вы знаете, отбросьте черновик электронной почты, так далее и так далее.
Это уровень, на котором OAuth может помочь вам обеспечить разрешения.
«Однако, если вы хотели сказать:« Прочитайте только эти электронные письма или удалите только эти электронные письма или имеете доступ к этим электронным письмам всего за один день », вы не можете делать такие вещи в OAuth.… То, что вам действительно нужно для этого агентского мира, является мелкозернистым разрешением до уровня файла, уровня ресурса, объектного уровня, такого рода вещей. И MCP просто использует OAUTH».
Адвокат разработчика OSO Грег Сарджант объясняет в сообщении в блоге «Почему авторизация LLM сложно», что указание на LLM, какие электронные письма может удалить пользователь, требует авторизации уровня ресурсов, что невозможно с OAuth. Это может только определить, может ли пользователь вообще удалять электронные письма.
И он говорит о MCP:
«MCP -сервер — это всего лишь мост между агентами и инструментами. Он ничего не знает о внутренней работе инструментов. Он не знает, как регулируется доступ к ним, или какие данные они разоблачают, или о том, как определить, кто должен иметь доступ к этим данным».
автоматизация наименьшей привилегии
OSO выступает за идею автоматической наименьшей привилегии. Выражение — ограничение разрешений LLM разрешениями этого пользователя — является одним из способов сокращения доступа, хотя все еще не может быть четким отображением разрешений, необходимых для данной задачи.
«Сегодня OSO дает вам строительные блоки, чтобы сделать это самостоятельно, и в будущем OSO даст вам гораздо большее решение для под ключ только для этой проблемы, но в основном наша архитектура очень хорошо подходит для решения этой проблемы», — сказал Нерай.
Он сказал, что компания сосредоточена на том, чтобы быть «уроженцем ИИ», которую он описывает как способность хорошо встать на новые рабочие процессы разработчика.
Примером могут быть разработчики, использующие курсор, желающие иметь возможность задать вопросы об их реализации OSO из курсора. Есть способ, которым мы можем включить это, создав сервер MCP для OSO. У нас есть внутренние POC этого. Мы просто еще не выпустили их. … Это такая работа ».
В поддержку этого недавно он выпустил руководство по созданию тряпичного чат-бота разрешений, а также технического руководства по авторизации искусственного интеллекта.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Сьюзен Холл является редактором спонсора нового стека. Ее задача — помочь спонсорам достичь самых широких читателей для их предоставленного контента. Она написала для нового стека с первых дней, а также сайтов … Подробнее от Сьюзен Холл
