Oracle спонсировал этот пост.
Вишну Каммари также внес свой вклад в эту статью.
Генеративный ИИ (Genai) быстро становится краеугольным камнем современных бизнес -стратегий, и многие организации активно интегрируют возможности ИИ в свое программное обеспечение и рабочие процессы. В то время как предприятия продвигаются вперед с доказательствами концепции (POCS), часто необходим специализированный опыт, чтобы превратить их в рабочие нагрузки на производство, создавая препятствия в продвижении за пределы первоначальной реализации.
Выбор стека ИИ: ошеломляющий, трудоемкий
Быстро развивающаяся эволюция ИИ-обусловленная новыми методами, улучшенными моделями, передовыми графическими процессорами и инновациями с открытым исходным кодом-добавляет еще один слой сложности. Организации должны постоянно пересматривать свои стеки ИИ, чтобы не полагаться на устаревшие технологии. Например, частые выбросы Meta моделей LLAMA предоставляют как возможности для инноваций, так и проблем в соответствии с последними версиями во время оценки и точной настройки.
Помимо выбора модели, организации сталкиваются с сложной задачей эффективного управления высококачественными расчетными ресурсами GPU. Решения о покупке, масштабировании и оптимизации этих активов стали критическими при навигации по ландшафту Геная. С этими факторами, организации должны постоянно совершенствовать свои стратегии, чтобы сбалансировать инновации с практичностью.
Существуют четкие различия в том, как организации подходят к своему путешествию по ИИ, от мелких пользователей, работающих на 1–10 обнаженных металлах, до предприятий, работающих на массивных кластерах графических процессоров, до разработки крупных языковых моделей следующего поколения (LLMS).
Организации, которые управляют крупномасштабными кластерами и обучают передовые LLMS, как правило, опережают достижения в области отрасли, эффективно оптимизируя инфраструктуру посредством стратегических инвестиций в инструменты и методы. Самое главное, что они имеют инженеры специализированного машинного обучения (ML), ориентированные на методологии Genai. С другой стороны, предприятия, стремящиеся применить Genai в практических вариантах использования, таких как потребление существующих LLMS, часто ищут руководство от поставщиков облачных или системных интеграторов для навигации перед лучшими практиками, эффективными методами и основополагающими шагами.
Возьмем, к примеру, крупного страхового поставщика, работающего над POC для чат-бота обслуживания клиентов с AI. Используя исторические взаимодействия с клиентами, он нацелен на сокращение времени разрешения и повышение качества поддержки. Тем не менее, определение правильного подхода с тонкой настройкой, выбор идеальной модели, интеграции с трубопроводами MLOPS и оптимизации использования графических процессоров, представляло сложные проблемы, которые требовали тщательного рассмотрения и месяцев исследований для начала работы. Даже решения о выборе типов графических процессоров, идеально подходящих для этого сценария и будущего роста, плюс опасения по поводу того, как масштабировать и управлять этой инфраструктурой, добавили месяцы времени, замедляя проект.
Сценарии, подобные этим, распространены в разных отраслях, что заставляет нас обратиться к миру открытого исходного кода, чтобы создать новое решение, чтобы помочь упростить процесс развертывания для различных вариантов использования.
Как решения с открытым исходным кодом могут сократить время развертывания
После нескольких месяцев работы, выявления нескольких сценариев, повторяющихся случаев использования и паттернов для приложений Genai, мы выпустили чертежи OCI AI. Эта бесплатная платформа для развертывания без кода построена на конфигурации Kubernetes упаковки Oracle Best Practices, инфраструктуры по умолчанию и конфигурации уровня приложений ML в виде единого файла манифеста развертывания.
Каждый манифест плана адаптирован к общему сценарию реализации Genai. Вместо того, чтобы вручную сшивать традиционные терраформы для инфраструктуры и Kubernetes YAML Manifests для конфигураций программного обеспечения, выбирая между библиотеками, использование Blueprint приносит элементы, необходимые для того, чтобы поднять вас и работать за считанные минуты с одним щелчком на платформе.
Тем не менее, запуск нового приложения для ИИ на графическом процессоре — это всего лишь первый шаг. Эффективное управление зависимостями инфраструктуры может быть стрессовым, особенно когда новые рабочие нагрузки неожиданно масштабируются. Это требует от сквозной наблюдаемости и возможностей управления кластером для консолидации конфигурации программного стека и решений о зависимости от инфраструктуры в одной плоскости управления.
Плона управления, развернутая Blueprints OCI AI, является набором поставщика, который понимает конфигурации, связанные с несколькими компонентами программного обеспечения с открытым исходным кодом, такими как Prometheus, KEDA и Kuberay, а также конфигурации инфраструктуры, связанных с OCI, такими как служба хранения файлов (FSS), которые составляют файл развертывания. Разработчику больше не нужно вручную включать FSS как часть их развертывания приложения ML, поскольку плоскость управления имеет логику для понимания и создания его, не касаясь консоли OCI.
Например, обслуживание LLM, которая включает в себя развертывание предварительно обученных языковых моделей для обработки запросов на выводы в производственных средах, является повседневным вариантом использования чат-ботов. Изучение программных платформ для выбора, какое оборудование оптимальное, какие конфигурации Kubernetes необходимы и т. Д., Может потребоваться недели оценки. В следующем манифесте развертывания Blueprint OCI AI имеет компоненты инфраструктуры, настройки репликации с использованием настройки KEDA и на основе масштаба на основе Прометея, кода VLLM и интеграции сервера LLM и LLM. Все в одном развертывании проявляется, что делает его легким и простым.
У нас был клиент, который использовал этот рецепт вывода, чтобы быстро развернуть узлы графических процессоров и развертывать мультимодальные LLM для вариантов использования обработки документов и партии изображений для своей платформы управления бизнес -процессами. Ранее этот процесс занимал недели, но решение с открытым исходным кодом позволило своей команде полностью автоматизировать весь процесс и добиться успеха в течение нескольких дней. Кроме того, с помощью автоматического мастерства и общего хранилища, развернутого и управляемого через этот план, использование ресурсов GPU было оптимизировано для этого сценария вывода.
Благодаря инструментам с открытым исходным кодом, вам не нужно быть инженером ML или иметь специализированный опыт, чтобы поднять эти чертежи. Эти чертежи упакованы и упрощены для развертывания через специальную платформу Blueprints OCI AI, но в то же время достаточно гибкий для разработчика для использования развертывания на основе API.
Узнайте больше о чертех OCI AI или посетите репозиторий GitHub, чтобы начать работу.
Oracle предлагает широкий спектр технологий для строительства, тестирования и обслуживания приложений в облаке и в вашем центре обработки данных. Найдите бесплатные инструменты и учебные ресурсы на Developer.oracle.com Узнайте больше последних из Oracle Trending Stories YouTube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. AMAR является старшим главным менеджером по продуктам, ведущим стратегии ИИ и инкубационных инициативам для Oracle Cloud Infrastructure (OCI). AMAR является экспертом в области высокопроизводительных вычислений (HPC), графических процессоров, генеративных ИИ и Kubernetes. Подробнее от Amar Gowda Maywun Wong является директором по маркетингу продуктов для Oracle Cloud Infrastructure, фокусируясь на разработке приложений. Она работала в области маркетинга, управления продуктами и инженерии для технологий и облачных компаний всех размеров, включая Cisco, Nokia, Siebel, Motorola и AT & T …. Подробнее от Maywun Wong
