Задайте любому агенту Genai вопрос, и вы рискуете получить неточный ответ или галлюцинацию. ИИ галлюцинации представляют значительные риски для предприятий многочисленными дорогостоящими способами. Согласно недавнему исследованию Vectara, галлюцинации ИИ происходят от 0,7% до 29,9% случаев, в зависимости от используемой модели большого языка.
Влияние галлюцинаций может нарушить операции, разрушать эффективность и доверие и вызвать дорогостоящие неудачи. Доверие клиентов и заинтересованных сторон быстро подорваны, если общественность обнаруживает, что предприятие опиралось на ложную информацию, такую как банковский чат-бот, предлагающий неправильные условия кредита, робо-адвизер, рекомендующие ненадлежащие инвестиции или дезинформация, исходящие из центров вызовов.
Реальные риски галлюцинаций ИИ
Недавний пример произошел, когда мы взаимодействовали с ведущим производителем механических и электронных устройств. Их команда поддержки клиентов работала в среде с высоким содержанием затрат с представителями различных уровней опыта, обрабатывая многочисленные ежедневные вызовы о устранении неполадок в устройстве. Основная проблема возникла, когда помощник ИИ проявил «чрезмерное» поведение, предлагая рекомендации по устранению неполадок для продуктов, не включенных в базу знаний. Это привело к экстраполяции ИИ из аналогичных продуктов или генерированию галлюцинированных реакций. Это было особенно проблематично, учитывая очень нюансированную природу устройств производителя, где, казалось бы, идентичные продукты могут иметь значительные функциональные различия.
Чтобы решить проблему галлюцинации, мы внедрили комплексный подход, ориентированный на точность и валидацию. Команда разработала дополнительные чеки и ограждения в агенте искусственного интеллекта, чтобы обеспечить более точный анализ вариантов продукта во время поиска базы знаний. Эти гарантии были разработаны, чтобы гарантировать, что сегмент базы знаний, используемый для устранения неполадок, с высокой точностью соответствовал конкретному устройству. Кроме того, решение включало дополнительные шаги проверки в рабочий процесс устранения неполадок, создавая несколько контрольно -пропускных пунктов, прежде чем ИИ может дать рекомендации представителям колл -центра через пользовательский интерфейс.
Реализация расширенных ограждений и процессов проверки успешно рассмотрела проблему галлюцинации, одновременно обеспечивая измеримые улучшения в операциях поддержки клиентов. Рафинированный помощник по искусственному интеллекту теперь предоставляет более точное, специфичное для устройства руководство по устранению неполадок, значительно снижая частоту ошибочной диагностики. Дополнительные точные элементы управления гарантируют, что рекомендации основаны на точных совпадениях продукта, а не на потенциально вводящих в заблуждение экстраполяции. В результате клиент пережил более быстрое время решения проблем, улучшение качества поддержки и повышение доверия к процессу устранения неполадок, созданную AI, в конечном итоге создав более эффективную среду поддержки как для представителей, так и для клиентов.
Как агент ИИ используется для предотвращения галлюцинаций ИИ
Агенты ИИ становятся общим подходом к снижению риска галлюцинаций ИИ. С их способностью воспринимать их окружающую среду, разум о возможных действиях, действий для достижения целей и учиться на обратной связи, чтобы непрерывно улучшать их производительность с течением времени.
Как и в нашем примере колл-центра, агент AI может оценить, согласуется ли ответ с известными фактами или логическими рассуждениями, прежде чем завершить ответ, метод самооценки, выполняемый агентами ИИ. Это итеративное рассуждение помогает идентифицировать и исправлять ошибки внутри. Агент ИИ также извлекает информацию в реальном времени из проверенных внешних ресурсов, а не полагаясь на предварительно обученные данные. Это гарантирует, что ответы актуальны и точны. Принимая эту концепцию дальше, агенты искусственного интеллекта могут перекрестно ссылаться на несколько источников или запускать запросы в разных наборах данных, чтобы подтвердить согласованность и надежность своих ответов, снижая шансы на сфабрикованную информацию.
Агентные модели ИИ также могут использовать подсказку цепочки мыслей, которая разбивает сложные проблемы на логические шаги или рассуждения о цепочке мыслей; Техника, которая особенно эффективна в задачах с интенсивными рассуждениями.
Наконец, использование решений для поиска-аугментирования (RAG) оказалось полезным. Agentic Rag сочетает в себе сильные стороны извлечения с аугированным поколением с автономными агентами, позволяя ИИ управлять сложными задачами, персонализировать ответы и расставлять приоритеты в соответствующей информации-при этом заземляя результаты в доверенных источниках знаний.
Миф о качестве данных по количеству данных
Хотя ИИ требуют огромных объемов данных, является ложным предположением, что больше данных приводит к галлюцинациям. Взаимосвязь между объемом данных и галлюцинациями ИИ является нюансом, в значительной степени в зависимости от качества и типа данных. В то время как предприятия часто предполагают, что «больше данных = лучшее ИИ», критическими факторами являются проверка (удаление неточностей), контроль источника (приоритет сгенерированным человеком данных) и разнообразие (избегание чрезмерной представленности домена). Когда эти условия выполняются, масштабирование данных повышает надежность; Без них галлюцинации ухудшаются.
Ключевые стратегии предотвращения галлюцинаций ИИ
В то время как галлюцинации не могут быть полностью исключены, существуют стратегии, которые существуют, которые существенно снижают их возникновение и влияние.
Неудивительно, что обеспечение обучения модели ИИ обучена различным, точным и комплексным наборам данных минимизирует риск галлюцинаций. Регулярное обновление и очистку данных обучения позволяет модели адаптироваться к новой информации и избегать создания устаревших или неправильных выходов. Создание четких, конкретных и подробных подсказок направляет ИИ к более точным ответам и снижает двусмысленность, что в противном случае может привести к неточным или вводящим в заблуждение результатам.
Включение человеческого надзора, особенно в высоких ставках или регулируемых средах, позволяет экспертам проверять и корректировать результаты, сгенерированные AI до того, как они будут использованы или опубликованы, служат окончательной защитой от ошибок и неточностей. Очевидно, что определение предполагаемого использования и границ системы ИИ гарантирует, что оно применяется только к задачам, для которых оно было разработано и обучено, тем самым минимизируя риск галлюцинаций при столкновении с незнакомыми сценариями.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Ниранджан Кришнан — опытные данные и лидер ИИ с двумя десятилетиями опыта, выполняющего обещание данных. Он руководил крупными межфункциональными командами и развернул десятки решений AI/ML, которые улучшили эффективность бизнеса в разных отраслях. Ниранджан … Подробнее от Ниранджана Кришнана
