Все спешат отправить агентов искусственного интеллекта для работы с данными. Они хотят, чтобы они писали SQL, отлаживали конвейеры, создавали тесты, автоматически документировали ресурсы и предоставляли ценную информацию по требованию. Такое ощущение, что обещание аналитики самообслуживания, которого так ждали инженеры по обработке данных, наконец-то сбылось.
К сожалению, эти развертывания терпят неудачу просто потому, что агенты не понимают, как на самом деле работает платформа данных. Они не знают, каким таблицам доверять, ненадежны ли конвейеры и кто чем владеет. Они не могут проследить, как изменение схемы в одном домене повреждает информационные панели, модели и показатели в других.
Итак, они галлюцинируют. Они запрашивают устаревшие или устаревшие активы, оптимизируют неправильные источники и дают руководителям хорошо написанные, но систематически неверные ответы.
Это то, что я называю стеной контекста: жесткая граница между тем, что ИИ может создать, и тем, что он может надежно закрепить в производственной реальности. Контекстная стена заставляет сместить фокус с блестящих интерфейсов на нижний уровень инфраструктуры, потому что именно там уже живет настоящий интеллект.
Почему сегодняшние ИИ-агенты летают вслепую
Большинство корпоративных стратегий искусственного интеллекта по-прежнему рассматривают контекст как второстепенную мысль. Большая языковая модель (LLM) помещается на склад. Может быть, есть каталог или, может быть, внутренние документы проиндексированы и подключены к генерации с расширенным поиском (RAG). На бумаге у агента есть схемы и описания. На практике это почти не имеет смысла операционной истины.
Агент не знает, не удалось ли выполнить вчерашнее задание, выводятся ли из эксплуатации имена таблиц или доверяет ли финансы определенную курируемую таблицу для закрытия. Он не может сказать, приведет ли нарушение соглашения об уровне обслуживания (SLA) в восходящем направлении к аннулированию пяти нижних информационных панелей.
Без живого оперативного контекста агенты ИИ превращаются в причудливые пользовательские интерфейсы с неполными метаданными. Они хороши для демонстраций, но опасны для решений, связанных с доходами, рисками или регулированием. Если нам нужны агенты, которые можно внедрить в критически важные рабочие процессы, они не должны быть слепыми вторыми пилотами. Им необходимо видеть, как данные создаются, проверяются, перемещаются и потребляются — непрерывно, а не только во время разработки.
Оркестровка: недостающий уровень контекста
Каждый раз, когда конвейер запускается, выходит из строя, повторяет попытку, проходит тест или нарушает соглашение об уровне обслуживания, система оркестрации фиксирует это. Со временем это становится полноценной оперативной записью, содержащей информацию о происхождении, состоянии, владении и использовании в разных озерах, складах, потоках и приложениях, а не только в одной системе.
Это делает метаданные оркестрации де-факто «самописцем» для всей платформы данных, который обеспечивает:
- Живой просмотр цепочек происхождения и зависимостей
- Взгляд на то, что здорово, а что хронически сломано
- Четкие сигналы владения и реагирования
- Доказательства того, какие активы действительно критически важны для бизнеса
Эту широкую картину сегодня упускает большинство агентов ИИ.
В более сложных и жестко регулируемых условиях это становится серьезным пробелом. Финансовые услуги, здравоохранение, критически важная инфраструктура, государственный сектор, а также изолированное или удаленное развертывание — все это нуждается в доказуемом происхождении, жестком контроле и объяснимости. В таких условиях оркестрация является источником истины, которая делает возможным создание заслуживающего доверия ИИ.
Как выглядит AI Native с оркестровочным интеллектом
Собственная платформа данных искусственного интеллекта не начинается с чат-бота. Все начинается с превращения оркестрации в механизм контекста как для людей, так и для агентов. Давайте сравним двух агентов.
Агент А подключен только к складу и каталогу. Он видит схемы, имена и устаревшие документы, но не может отличить золото от мусора. Он с радостью сгенерирует SQL поверх сломанных конвейеров и расскажет об этом отличную историю.
Агент B основан на оркестрации. Прежде чем рекомендовать таблицу или запрашивать ее, он проверяет историю выполнения, результаты тестов, соглашения об уровне обслуживания, происхождение и важность последующих версий. По умолчанию он использует активы, которые являются здоровыми, управляемыми и принадлежащими им, и могут объяснить свой выбор. В случае сбоя ключевого задания он знает, какие показатели, информационные панели и рабочие процессы ИИ следует пометить или приостановить.
Как только интеллект оркестрации становится основой, естественным образом появляются новые возможности:
- SQL и аналитика с учетом надежности: Агенты выбирают источники на основе состояния здоровья и сертификации, а не на догадках.
- Мгновенный анализ воздействия: Изменение схемы или трубопровода запускает автоматическое обнаружение радиуса взрыва.
- Наблюдение «из коробки»: Поскольку открытые экосистемы, такие как Apache Airflow, уже интегрируются со всем стеком, происхождение и метаданные фиксируются по мере работы конвейеров.
- Удобство использования человека и агента: Один и тот же контекстный уровень доступен для поиска и изучения инженерами, операторами и агентами ИИ.
Вот что на самом деле означает здесь «нативный AI». Это ИИ, который рождается внутри внутренних операций платформы, а не привязывается к ней.
Куда мы идем отсюда
Настоящим узким местом корпоративного ИИ больше не является модель. Это отсутствие обоснованного контекста.
Рассматривая телеметрию оркестрации как стратегическую и раскрывая ее представление о происхождении, работоспособности, владении и использовании как уровне общего контекста, — вот как ИИ становится надежным. По мере того, как агентам будет передано все больше работы, системы, которые внедряют этот контекст с самого первого дня, будут оставаться точными, объяснимыми и безопасными в производстве.
Если ваш ИИ поймет, как на самом деле работает платформа данных, она может перейти из демонстрационного состояния в часть основного стека.
ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Джулиан Ланев, технический директор Astronomer, унифицированной платформы DataOps на базе Apache Airflow. Узнайте больше от Джулиана Ланева
