Pagerduty спонсировал этот пост.
Усыновление ИИ растет, поскольку предприятия стремятся открыть свежий рост производительности. По словам McKinsey & Company, 78% лиц, принимающих деловые решения, сообщают, что их организации используют ИИ, по крайней мере, в одной бизнес-функции.
На переднем крае этого сдвига находится принятие крупных языковых моделей (LLMS). Организации все чаще используют сторонние LLM, такие как GPT и Claude, для оказания помощи в таких задачах, как анализ данных и создание контента, без необходимости нарушать банк, принимая свои собственные модели. Как санкционированное и несанкционированное использование AI Skyrockets, LLM быстро становятся критически важными для бизнеса систем.
Одним из последствий этой зависимости от LLM является то, что организации должны обеспечить свою постоянную достоверность. Без адекватного надзора LLMS может производить контент на основе устаревших или предвзятых данных обучения, которые наносят ущерб доверию клиента или повреждают репутацию бренда.
Чтобы противодействовать потенциальному вредному воздействию дрейфа данных, организации должны ввести структуру операций LLM (LLMOPS). Эти стандартизированные процессы будут решать проблемы, связанные с LLMS в корпоративном контексте, и примером четырех столбов:
1 Реализовать четкие границы
Первый шаг в LLMOPS — установить основные цели использования LLM.
LLM должны быть удержаны от принятия решений с высокими ставками. Человеческие, такие как стратегии ценообразования, наем или юридические консультации, должны быть оставлены для человека, чтобы сделать последний звонок. Даже самые передовые модели с тонкой настройкой могут создавать галлюцинации, пропусков контекст или включать смещения, которые остаются незамеченными, пока они не вызывают проблемы.
Внутренние эксперты также могут точно настроить модель в бизнес-домене или иметь руководящие принципы для оптимальной контекстной техники. Уделяя больше внимания определенным инструкциям или ограничениям, разработчики могут управлять точностью и балансом ответов. Взвешивание правых токенов или инструкций снижает двусмысленность ответов и избегает общих ловушек, таких как чрезмерно уверенные галлюцинации.
2 Контрольный доступ и определить варианты использования
После того, как правильное использование будет установлено, доступ к пользователю должен регулироваться, а варианты использования устанавливаются в соответствии с политикой компании. Не каждый сотрудник должен быть в состоянии провести LLM с проприетарными или конфиденциальными данными, особенно с помощью незавершенных сторонних LLMS. Назначение разрешений на пользователя обеспечивает сеть безопасности, чтобы сотрудники не были случайно раскрывать конфиденциальную информацию и не злоупотреблять моделью.
Как и в случае с любым инструментом, принятым предприятием, хотя LLM должны иметь четко определенные утвержденные варианты использования, мы также должны разрешить пространство для экспериментов. Баланс между утвержденными вариантами использования и уровнем экспериментов будет отличаться для каждой компании.
Доступ к конфиденциальной деловой информации, такой как данные клиента, должен быть ограничен теми, кому нужно только получить к ней доступ, чтобы смягчить риск нарушений данных. Без четких ограждений команды рискуют столкнуться с связанными с соответствием или этическими проблемами.
3 Регулярно тестируйте, чтобы предотвратить дрейф данных
Часто предполагается, что LLM будет продолжать обеспечивать постоянную производительность на протяжении всей жизни. В действительности, результаты, генерируемые LLMS, постепенно теряют релевантность, поскольку их обучающие данные устарели в процессе, известном как «дрейф данных». Экстремальным примером будет использование устаревшей версии CHATGPT, такой как GPT-1, которая предоставляет только ответы, основанные на учебных данных, доступных до 2018 года. На практике дрейф данных менее очевиден, но это может привести к тому, что команды ошибочно использовать неточные результаты.
Для организаций жизненно важно проверить LLM, которые они используют для деградации с течением времени в результате изменений данных. Если модель обеспечивает неточные результаты, принятие более новой модели или тонкой настройки LLM для реагирования на конкретную тему или домен может еще больше повысить точность производства без основных инвестиций в обучение основополагающей, проприетарной модели. Это гарантирует, что модель выравнивается с данными в их среде и обеспечивает дополнительный уровень безопасности от вводящих в заблуждение результатов.
4 Мониторинг производительности с доступностью в реальном времени
Как только LLM используется, разработчики должны постоянно контролировать свою производительность, чтобы обеспечить его ожидания. Проблемы с эффективностью, такие как высокая задержка, сильно ухудшают отзывчивость LLM, что особенно проблематична в чувствительных ко времени приложениях, таких как поддержка клиентов, интерфейсы чата в реальном времени или разрешение инцидентов.
Мониторинг панелей мониторинга, которые отслеживают ключевые показатели, такие как задержка, использование токенов и скорость точности, являются ключом к обеспечению того, чтобы LLM оставались высокими. Когда время отклика LLM последовательно превышает определенный порог, автоматизированные оповещения могут пометить проблему, прежде чем она затронет конечных пользователей. Действия по восстановлению включают в себя обзор контекста, чтобы обеспечить необязательный путь к реакции, настройку размера модели, масштабирование инфраструктуры или кэширование общих ответов для обеспечения текущей производительности и стабильности LLM.
Недостающая ссылка на успех ИИ
Принятие LLMS является лишь частью уравнения. Без четкой стратегии LLMOPS организации рискуют проблемами эффективности, неудачами соответствия и повреждению репутации. Поскольку ИИ становится более встроенным в повседневные рабочие процессы, четкие ограждения и политики не являются обязательными. Они необходимы для обеспечения того, чтобы LLM обеспечивает оптимальную ценность.
Применяя эти четыре столба на практике, организации могут завоевать доверие к своим результатам, безопасно масштабировать использование и максимизировать прибыль от своих инвестиций в области искусственного интеллекта. В конечном счете, четко определенная стратегия LLMOPS будет отделять организации, которые ведут в ИИ от тех, кто отстает.
Pagerduty является глобальным лидером в области управления цифровыми операциями, преобразующий критическую работу для современных предприятий. PageRduty Operations Cloud объединяет AIOP, автоматизацию, операции обслуживания клиентов и управление инцидентами для создания гибкой, устойчивой и масштабируемой платформы. Узнайте больше последних из Pagerduty Trending Stories YouTube.com/thenewstack Tech, быстро движется, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Жуао Фрейтас является генеральным директором и инженерным руководителем для ИИ в Pagerduty. Имея около 20 -летнего опыта в области разработки программного обеспечения, машинного обучения и как менеджер по людям, он ранее был техническим директором в стартапе ИИ и получил несколько … Подробнее от Жуао Фрейтас
