Агент относится к способности системы действовать автономно и независимо достигать целей. Таким образом, инструменты AIG Agentic Assulation являются решениями, которые оценивают генеративные агенты ИИ и ИИ для галлюцинаций и других проблем.
Поле настолько новое, что поставщики решений и исследователи все еще решают, какие метрики использовать. Чтобы узнать больше, мы поговорили с Атином Саньялом, экспертом в развивающейся области агентских оценок ИИ. Саньял является главным технологическим директором и соучредителем Galileo, стартапа оценки искусственного интеллекта, который вырос из лаборатории Стэнфорда около пяти лет назад. Ранее он работал инженером и исследователем в таких организациях, как Uber, Apple, LinkedIn, UCLA и Oracle.
Оценка галлюцинаций
Саньял определил два типа галлюцинаций. Галлюцинации с открытым доменом происходят, когда модель ИИ генерирует ложную информацию без конкретного контекста или ввода. Галлюцинации с закрытой областью происходят, когда модель ИИ изготавливает неправильную информацию, основанную исключительно на ограниченных контекстных данных.
Заявленные галлюцинации представляют особые проблемы при строительстве агентов ИИ. Двумя ключевыми показателями для галлюцинаций с замкнутым доменом являются контекстная приверженность — измерение того, сколько контекста появляется в выводе — и приверженность инструкции, которые издают, насколько хорошо ИИ следует подсказкам пользователя.
За пределами LLM-как сужура
Когда организации впервые начали атаковать проблему галлюцинаций, они развернули модель большой языковой модели (LLM)-как судья, которая в основном использовала одну LLM для проверки генеративной модели ИИ. Тем не менее, этот подход имеет свои ограничения, такие как смещение позиции, смещение условности, предвзятость к самосовершенствованию и ограниченные мышления, согласно исследовательскому документу 2023 года.
Другая большая проблема заключается в том, что крупные предприятия имеют ограничения с этим подходом, добавил Саньял.
«Они просто не масштабируются, потому что существуют ограничения по ставке и все виды ограничений, которые поставили бы сторонние API [on]что действительно делает исходное приложение страдать от качества », — сказал он.
По словам Саньяла, есть еще один усложняющий фактор при оценке агентов ИИ: единственная проблема в результатах даже одной части системы ИИ может усугубить и привести к «выходу из выхода из удара». Задача заключается в том, чтобы отслеживать ошибку в выводе обратно в ту часть системы ИИ, которая вызвала ее, объяснил он.
Оценка агентов ИИ: открытый исходный код
Именно здесь вступает агентская оценка ИИ.
«Речь идет о том, как мы можем помочь инженеру ИИ сделать эти непредсказуемые системы немного более предсказуемыми, давать им правильные ограждения и помочь, по сути, то, что мы называем оценкой», — сказал Саньял.
Существуют библиотеки с открытым исходным кодом и рамки, которые оценивают агенты искусственного интеллекта, в том числе Ragas и Trulens, причем последние были получены с помощью Snowflake Snowflake Platform Platform Platform Data Data. По словам Саньяла, эти инструменты приобрели поддержку за последние 12-15 месяцев.
Он утверждал, что решения с открытым исходным кодом, как правило, «недостаточны и близоруки», поскольку инструменты с открытым исходным кодом обычно фокусируются на количественных измерениях, которые генерируют число, а не более подробную качественную информацию.
«Многие из решений с открытым исходным кодом по -прежнему фокусируются на статистических способах количественной оценки галлюцинаций Rag или галлюцинаций с открытой доменом и различных других общих ошибок формы, которые делают системы LLM, но мы обнаружили, что этого действительно недостаточно, недостаточно», — сказал он. «Они упускают эту часть настройки, способность определять свои собственные метрики, собственные бомбардиры, основанные на варианте использования».
Агент AI Co-Pilot
По его словам, Galileo выступает в качестве агента AI-агента и интегрируется в рабочий процесс разработчика с двумя строками кода. Он предоставляет по умолчанию ограждения с качественными и количественными мерами общего назначения.
Разработчики также имеют «основную потребность» для создания собственных метрик и модифицировать других, добавил он. Таким образом, метрики на основе кода имеют решающее значение, но, поскольку не все создатели LLM являются кодерами, также существует необходимость в качественных метрик на основе определения естественного языка.
«Мы построили этот автомобильный ML [machine learning] Pipeline, который позволяет вам не только создавать пользовательские метрики, которые вы хотите для вашего приложения, но и развивать их с течением времени посредством обратной связи человека, посредством различных форм обратной связи », — сказал он. «Они почти как маленькие агентские системы оценки, которые мы встроили в собственную сторону, чтобы иметь возможность адаптироваться ваш показатель к вашим данным».
Какие показатели использовать на самом деле зависит от типа агентской системы, которую строит разработчик. В настоящее время существуют десятки моделей проектирования для систем агентских строительных систем, а также влияет, какие метрики следует использовать, отметил он.
Двойной подход Галилея
Платформа оценочной разведки Galileo использует двойной подход к оценке агентов ИИ.
Во-первых, он разработал Cheappoll, агент AI, аналогичный агентской структуре, основанной на судье, но обеспечивает улучшение функции шага по сравнению с базовыми методами LLM-как судья и предназначен для обнаружения различных типов галлюцинаций LLM. Он использует LLMS за кулисами и разработан для настройки, чтобы пользователь мог предоставить свои собственные определения галлюцинации, и система работает от этого.
LUNA-это набор моделей с низкой задержкой Eval с открытыми весами, работающими на масштабируемой инфраструктуре вывода LLM, разработанной в Галилео. Он сосредоточен на обстоятельствах, когда существует большой объем запросов пользователей и необходимость конфиденциальности данных.
«Мы даем разработчику инструменты, чтобы либо отодвинуть его обратно пользователю, либо пересмотреть генерацию или повторить сквозной запрос, если есть галлюцинация».
-Саньял, технический директор и соучредитель Галилея
По словам Саньяла, Луна была создана в 2024 году и представляет год возвращения на чертежную доску для экспериментов с более мелкими генеративными моделями. Это кодер Deberta-Large (440M)-это причудливый способ сказать, что с 440 миллионами параметров Luna меньше, чем другие LLMS. Для сравнения, GPT-3.5 имеет 175 миллиардов параметров. Это делает Luna более эффективным для работы и менее дорогим. Модель также настраивается для обнаружения галлюцинации в настройках RAG.
По словам Саньяла, более мелкие модели оценки, такие как Luna, обещают лучшую оценку галлюцинации. Например, Luna превзошла Ragas и Trulens, а также собственную цепь Галилея, согласно исследовательской статье Галилея о Луне.
«Это набор небольших моделей, обычно в диапазоне от 2 до 10 миллиардов, которые точно настроены и обучены специально для обнаружения галлюцинаций, и мы размещаем их на коммодитизированных графических процессорах с нашей стороны»,-сказал он.
Саньял описал Галилея как «соучастник оценки», который работает на стороне, в то время как веб-разработчики создают приложение. Требуется только две строки кода Galileo, вставленные в приложение. Галилео предлагает TypeScript и Python SDK, добавил он. Платформа может работать локально или в облаке жалоб Galileo SOC 2.
«Мы даем разработчику инструменты, чтобы либо отодвинуть его обратно пользователю, либо пересмотреть генерацию или повторить сквозную запрос, если есть галлюцинация»,-сказал он. «Что делать дальше в руках разработчика по сравнению с его непосредственно всплыть к пользователю».
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Loraine Lawson — ветеран -репортер, который в течение 25 лет освещал технологические проблемы от интеграции данных до безопасности. Прежде чем присоединиться к новому стеку, она работала редактором Banking Technology Site Bank Automation News. Она … читайте больше от Лорейн Лоусон
