Heroku спонсировал этот пост.
Развертывание приложения на базе искусственного интеллекта — это больше, чем просто вызов модели. Разработчикам приходится спорить с инфраструктурой вывода, версионировать конвейеры данных и интегрировать внешние инструменты, а также находить способы мониторинга или управления выходными данными, которые с большей вероятностью будут галлюцинаторными. В тот момент, когда команда пытается выйти за рамки базового прототипа, ей внезапно приходится развивать опыт в области оркестрации, соответствия требованиям и архитектуры искусственного интеллекта.
По мере того, как возможности ИИ расширяются в разных модальностях (например, преобразование текста в изображение в аудио), опыт разработчиков не поспевает за ними. Команды совместно разрабатывают решения для облачных провайдеров, API-интерфейсов больших языковых моделей (LLM), векторных баз данных и хрупких контуров управления. Даже компаниям с сильной инженерной мощью трудно поддерживать скорость.
Чего не хватает, так это решения на уровне платформы, которое абстрагирует эти проблемы ИИ так же, как традиционная платформа как услуга (PaaS) абстрагирует инфраструктуру.
Это пространство, которое стремится заполнить платформа искусственного интеллекта как услуга (AI PaaS). Он привносит основные принципы PaaS, а именно простоту, масштабируемость и инструменты, ориентированные на разработчиков, в современные строительные блоки искусственного интеллекта.
Давайте рассмотрим, что такое AI PaaS и как он позволяет поставлять ИИ-приложения производственного уровня, не изобретая заново весь свой стек.
Что такое AI PaaS и зачем он нужен?
AI PaaS делает именно то, что говорит: это платформа, которая помогает разработчикам создавать, развертывать и эксплуатировать приложения на базе искусственного интеллекта в облаке без необходимости самостоятельно управлять моделями, оркестровкой, конвейерами или инфраструктурой. Он построен на основе традиционного PaaS, но расширяет его за счет встроенных функций искусственного интеллекта, таких как доступ к моделям, конвейеры поиска, оркестровка агентов и инструменты оценки.
Эти платформы заполняют критический пробел, поскольку многие проекты искусственного интеллекта так и не доходят до производства. Gartner прогнозирует, что к 2027 году до 40% инициатив в области агентного ИИ потерпят неудачу, часто из-за затрат на интеграцию, отсутствия наблюдения или сложности развертывания. AI PaaS решает эти проблемы, предоставляя продуманные и масштабируемые настройки по умолчанию.
Так что же представляет собой AI PaaS? Вы начинаете с создания PaaS, а затем добавляете функции, специфичные для ИИ.
Основные основы современного PaaS
В каждом PaaS необходимо правильно реализовать несколько основных вещей, независимо от того, создаете ли вы CRUD-приложение или диалоговый агент. Они есть:
- Масштабируемость: Инфраструктура может легко масштабироваться для обработки изменений в ресурсоемких рабочих нагрузках искусственного интеллекта.
- Безопасность: Все арендаторы изолированы с помощью надлежащего контроля доступа, чтобы обеспечить безопасность моделей, данных и агентов. Все секреты соблюдаются по принципу минимальных привилегий и надежно управляются.
- Контейнеризация: Агенты и инструменты находятся в контейнерах для единообразного развертывания.
- Оркестровка: Никакой ручной настройки инфраструктуры. Код создается и развертывается автоматически.
- Данные: Базы данных автоматически подготавливаются, масштабируются и обеспечивают безопасный доступ. Это могут быть векторные базы данных, данные клиентов или любой другой контент, необходимый ИИ.
- Наблюдаемость: Задержка, шаблоны использования и управление ошибками видны через OpenTelemetry или аналогичный инструмент. Рабочим процессам искусственного интеллекта также необходима возможность наблюдения за потоками подсказок и результатами для отладки результатов LLM.
Это ставки стола. Но строительство с использованием ИИ представляет новый уровень сложности. Давайте посмотрим на конкретные функции, необходимые для AI PaaS.
Основные функции минимально жизнеспособного AI PaaS
Чтобы начать создание AI PaaS, минимальные необходимые инструменты включают в себя вывод модели, конвейеры извлечения и каркас протокола контекста модели (MCP).
Модели искусственного интеллекта и варианты вывода
Функции на основе искусственного интеллекта сосредоточены на LLM. LLM предлагает диалоговый генеративный искусственный интеллект, который стал обычным явлением с момента запуска ChatGPT в 2022 году. AI PaaS должен обеспечивать беспрепятственный доступ к различным моделям машинного обучения (ML). Все модели имеют разные сильные и слабые стороны, поэтому доступ к нескольким моделям обеспечивает максимальную гибкость для команд, создающих агентов ИИ.
Это разнообразие также можно использовать для снижения затрат, когда для некоторых услуг требуются сложные (и дорогие) модели, в то время как для менее сложных услуг могут использоваться более мелкие и менее дорогие модели.
Контуры управления для качества и надежности ИИ
Когда LLM предоставляет ответ, должен быть предусмотрен контур управления для мониторинга ответов и проверки их качества. Разработчики могут создавать определяемые заказчиком эвристики и правила, которые будут использоваться для оценки ответа. Это может включать жестко запрограммированные ограничения или сравнение результатов нескольких LLM для достижения консенсуса.
Если ответ не соответствует стандарту качества, запрос может быть переформулирован и отправлен повторно. Если ответ проходит оценку, контур управления передаст ответ на следующий шаг модели.
Как замкнутый цикл отслеживает ответы.
Протокол контекста модели для соединения данных и инструментов
LLM являются мощными инструментами и могут общаться с пользователями на самые разные темы. Чтобы обеспечить эффективность генеративного ИИ, полезного для организации, необходимо постоянно предоставлять дополнительные данные для обеспечения своевременных и точных ответов.
MCP — это стандартизированный подход к подключению внешних инструментов к системе искусственного интеллекта для предоставления дополнительных данных или знаний. Серверы MCP упрощают безопасное подключение существующих инструментов обработки данных (как внутренних, так и внешних) для включения новых данных.
MCP могут обеспечивать подключение к API для часто меняющихся данных («Каков текущий трафик в Квинсе, штат Нью-Йорк?») или к базе данных с корпоративными данными («Сколько сделок было подписано во втором квартале 2021 года?»). Эти хранилища данных поддерживают и улучшают выходные данные модели.
Кроме того, MCP действует как каталог служб. Когда запрос отправляется ИИ, он формулирует свой ответ, зная, где находятся данные и как их можно получить и отформатировать в ответ. Это позволяет существующим приложениям и агентам подключаться к MCP.
MCP обрабатывают запросы от приложений и больших языковых моделей, а затем передают данные из внешних источников. (Источник: Хероку)
MCP также можно использовать для предоставления приложения ИИ как инструмента, который будет использоваться другими агентными системами, позволяя другим агентам использовать систему ИИ для выполнения задач.
Например, Audata создала Aura (агент поддержки искусственного интеллекта), чтобы использовать данные в реальном времени из Heroku Postgres и корпоративные данные из Salesforce Agentforce для ответа на рутинные вопросы. Если вопрос передается в службу поддержки, представителю предоставляется краткий обзор существующего чата, что приводит к более быстрому разрешению заявки.
Чего ожидать от AI PaaS корпоративного уровня?
Надежный AI PaaS выходит за рамки умозаключений. Это помогает командам ответственно подходить к разработке, быстро выполнять итерации и уверенно масштабироваться. Вот чего ожидать от платформ, которые могут поддерживать долгосрочное использование ИИ промышленного уровня:
Поисковая расширенная генерация
Одним из распространенных инструментов хранения данных для внешних знаний является генерация с расширенным поиском (RAG). База данных RAG обычно представляет собой векторную базу данных, содержащую корпоративные данные, закодированные специально для быстрого взаимодействия с LLM. Например, Postgres pgvector от Heroku обеспечивает бесперебойную поддержку векторных баз данных без необходимости использования дополнительных инструментов для работы с базами данных.
Когда к модели ИИ делается запрос, LLM предоставляет соответствующие данные из базы данных для формулирования ответа. Архитектура RAG позволяет организациям вставлять индивидуальные данные, чтобы влиять на реакцию LLM.
Например, обработка и одобрение кредита в 1West были медленным и ручным процессом. После обучения модели машинного обучения с использованием AI PaaS Heroku для работы с огромным количеством источников данных обработка кредита сократилась с нескольких дней до минут.
Упрощенная архитектура RAG, включая конвейеры данных для контекстных данных.
Конвейеры данных RAG для обновления баз данных RAG
Точно так же, как LLM могут быстро устареть и сами по себе предоставлять неправильные или устаревшие ответы, то же самое может произойти с данными в базе данных RAG. Чтобы поддерживать точность приложения ИИ, база данных RAG должна постоянно обновляться, чтобы отражать новые или изменяющиеся данные. Для этого необходимы автоматизированные рабочие процессы обработки документов. Эти рабочие процессы должны легко интегрироваться с существующими системами и эффективно выполнять все этапы обработки.
Например, в экосистеме Heroku планировщик Heroku может регулярно запускать рабочие процессы для доступа к документам и вставки обработанных данных в базу данных pgvector. Вся обработка происходит в безопасной среде, защищающей корпоративные данные.
Как Heroku предоставляет комплексный AI PaaS
Поскольку компании интегрируют инструменты на базе ИИ в свои стеки, многим командам разработчиков не хватает навыков MLOps, управления и оркестрации, необходимых для внедрения ИИ в производство. Использование AI PaaS от Heroku запускает процесс создания, развертывания, эксплуатации и масштабирования приложений на базе искусственного интеллекта.
Использование опыта Heroku и подхода, ориентированного на разработчиков, к построению облачных архитектур означает, что корпоративная команда может сосредоточиться на создании сервиса, а не на управлении серверами, сетями, безопасностью и создании инструментов оркестрации.
Генерация кода AI Heroku Vibes позволяет создавать и развертывать Heroku на естественном языке. Управляемый вывод и агенты Heroku предоставляют тщательно подобранные модели искусственного интеллекта для дальнейшего развития. Сервер Heroku MCP упрощает агентам доступ к ресурсам Heroku, таким как журналы, предоставление надстроек и масштабирование приложений. Пользовательский сервер MCP, развернутый на Heroku, может предоставить доступ к существующим системам вашего сервиса искусственного интеллекта.
- Поддержка LLM обеспечивается управляемым выводом Heroku и агентами с доступом к множеству моделей вывода LLM.
- Heroku AppLink обеспечивает безопасные подключения к Agentforce (агентный уровень платформы Salesforce) с подключениями к Salesforce Flows, Apex и Data Cloud.
- Интеграция собственных инструментов искусственного интеллекта Heroku позволяет разработчикам создавать новые приложения, улучшать существующие и создавать новые агенты искусственного интеллекта, используя код, сгенерированный искусственным интеллектом. Это означает, что агент искусственного интеллекта, работающий на Heroku, может безопасно взаимодействовать с конфиденциальными корпоративными данными, используя современный искусственный интеллект, сохраняя при этом ваши данные в безопасности.
Расширение возможностей следующего поколения разработчиков искусственного интеллекта
Развертывание приложений ИИ должно быть таким же простым, как и запуск веб-приложения. Благодаря продуманным настройкам по умолчанию и управляемым сервисам Heroku продолжает развиваться вместе с разработчиками, обеспечивая оптимизированную интегрированную платформу.
Heroku использует свой многолетний опыт развертывания приложений в облаке, чтобы помочь разработчикам быстро запускать технологии искусственного интеллекта. Чтобы узнать больше о Heroku и AI PaaS, посмотрите демо на YouTube или следите за обновлениями в LinkedIn.
Heroku — это комплексная PaaS (платформа как услуга), призванная помочь компаниям создавать, доставлять, отслеживать и масштабировать приложения. Heroku позволяет командам сосредоточиться на том, что важно — приложениях и сервисах, которые управляют их бизнесом. Узнайте больше Последние новости Heroku ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Дуг всю жизнь учится и преподает, посвятив свою карьеру совершенствованию знаний и опыта разработчиков. Эксперт Google для веб-разработчиков, автор книги О’Рейли, международный основной докладчик и плодовитый блоггер, он любит упрощать сложные задачи. Когда… Подробнее от Дуга Силларса
