Confluent спонсировал этот пост.
Агент AI больше не является футуристической концепцией. Это быстро становится частью реальных производственных систем. Согласно отчету Capgemini 2025 года, ожидается, что принятие агентского ИИ будет расти на 48% к концу этого года, поскольку ранние пользователи генеративного ИИ (Genai) начнут интегрировать автономные агенты в бизнес -операции.
Для инженеров данных этот сдвиг приносит как вызов, так и возможность. Традиционных трубопроводов, которые отчеты о питании или поддерживают пакетные модели, уже недостаточно. Следующее поколение систем ИИ требует контекста в реальном времени и отзывчивых трубопроводов, которые поддерживают автономные решения в разных распределенных системах.
Вы уже можете быть опытными в планировании экстракта, преобразования, нагрузки (ETL), аналитических запросах или интеграции машинного обучения (ML). Но насколько хорошо вы оказываетесь для поддержки агентов, которые сотрудничают, учатся и принимают меры в режиме реального времени?
Давайте рассмотрим критические возможности, которые инженеры данных должны разрабатывать, чтобы оставаться актуальными и ценными, а также практические способы обострения этих навыков. Освоение этих моделей будет держать вас в центре инноваций ИИ по мере развития этой новой эры.
Два типичных стартовых путей для инженеров данных
Большинство инженеров данных достигают потокового и управляемого событиями через один из двух карьерных маршрутов.
Путь 1: Эксперты по обработке базы данных и партии
Многие поступают из администрирования базы данных или пакетного фона ETL. У вас может быть глубокий опыт написания SQL, планировать рабочие процессы с такими инструментами, как поток воздуха и ежедневная отчетность. Однако, когда данные должны течь непрерывно, обрабатывать миллионы событий и мощных решений, пакетное мышление часто разрушается.
Потоковая передача требует нового мышления. Вы должны рассуждать о времени события по сравнению со временем обработки, управлением водяным знаком и окнами и гарантировали точно одну онду, даже когда все меняется в середине. Эти шаблоны дизайна должны быть встроены в ваши трубопроводы с самого начала.
Путь 2: ML и аналитические строители
Другие входят в мир ML или аналитики, работая над модельными обучением, магазинами функций или API -интерфейсов. Тем не менее, агенты ИИ и решения для поиска генерации (RAG) плохо работают на несвежних снимках. Они полагаются на актуальные, хорошо настроенные поисковые трубопроводы, векторные и гибридные алгоритмы поиска, которые обеспечивают только соответствующие факты для ваших моделей.
В недавнем выступлении в QCON я объяснил, как слабая точность поиска разрывает, вызывая галлюцинации и фактические ошибки в масштабе. Многие команды недооценивают, насколько модели встраивают, гибридные переезды и контекстуальные блюда являются принципиально потоковыми и извлечением проблем, которые могут решить инженеры по данным.
Критические навыки инженерии данных для агентского успеха ИИ
Agentic AI растягивает набор навыков потоковых данных типичного инженера по данным, потому что он больше не является единственной моделью, работающей в изоляции.
Сегодня мы видим сети агентов восприятия, агентов по мышлению и агентов по исполнению, работающих вместе, каждая задачи обработки и передача понимания в следующее в режиме реального времени. Если вы знаете только, как планировать рабочие места ETL или развернуть сервер вывода, вам не хватает основного навыка: как создать высокопроизводительные трубопроводы с низкой задержкой, которые сохраняют эти агенты надежными и отзывчивыми в производстве.
Этими агентскими системами нужна потоковая связь, управляемая событиями, которая передает правильную информацию правильному агенту в нужный момент. Потоковая передача становится общим языком, который сохраняет автономные агенты точными и синхронизированными.
Итак, какие именно потоковые шаблоны вы должны понимать, чтобы стать инженером по потоковой передаче данных, которого каждый хочет в своих агентских проектах искусственного интеллекта?
- Дизайновые архитектуры, управляемые событиями: Создайте трубопроводы, которые реагируют на события в режиме реального времени, а не только на ночь. Master Publish-Subscribe Patterns, темы Kafka и обработка потока Flink для всегда принятия решений.
- Достичь точного поиска: Поймите, как векторные поиск, гибридное повторное переезда и быстрое настройка работают вместе, чтобы дать фактические, богатые контекстом ответы. Это паттерны потоковой передачи и индексации непосредственно в ваших трубопроводах, а не только для ученых данных.
- Инженер надежные петли обратной связи: Современные системы ИИ учится непрерывно. Создайте трубопроводы данных, которые контролируют скорости галлюцинации, проверяют точность объекта и отправляют исправления для переподготовки, закрывая цикл между выводом и улучшением модели.
- Масштаб и безопасные трубопроводы: Один медленный или сломанный поток может вызвать каскадные сбои в многоагентных системах. Используйте регистрации схемы, применяйте контракты на данные и применяйте точно семантику точности для поддержания доверия к вашей потоковой инфраструктуре.
- Преодолеть разрыв в языке: Коммуникация представляет собой еще одну проблему. Ученые по данным часто обсуждают «точность» как метрику, которую инженеры данных должны перевести в реальность. Реализуйте оценки оценки, такие как фактические проверки согласованности, сравнения точности сущностей и обзорные трубопроводы человека в петле.
Выровняйте сертификацию по потоковой передаче данных
Сертификация инженера по потоковой передаче данных может подтвердить вашу способность разработать системы потоковой передачи производства с помощью кафки, Flink, реестров схемы, разъемов и лучших практик в реальном времени.
Освоение современных навыков потоковой передачи и получения сертификации помогает вам справиться с проблемами, которые инженеры партии могут пропустить:
- Отключать старые привычки: Зная, когда перейти от пакетов и микросервисов к истинному мышлению, управляемому событиями.
- Точно по разным системам: Координация согласованного состояния в распределенных инструментах, таких как Kafka и Flink без скрытых дубликатов.
- Выбор подходящего времени: Понимание времени событий и времени обработки и их влияния на правильность и задержку.
- Окончание и опоздание: Проектирование падаль, скольжения или сеанса, которые изящно обрабатывают поздние данные.
- Поток соединяется правильно: Управление записями сирот и «укрытием для щенков», поэтому присоединяйтесь к операциям, не забивайте и не теряют события.
- Качество и управление на источнике: Проталкивание проверки схемы и проверки вверх по течению для защиты всех потребителей.
- Управление задержками вывода ИИ: Интеграция моделей внутри трубопроводов без добавления обратного давления или отставания пользователя.
Узнайте больше о сертификации потокового инженера Confluent и подтвердите свой опыт потоковой передачи здесь.
Инвестируйте в свое будущее ИИ
Если вы уже инженер по данным, вы необходимы для планов искусственного интеллекта вашей организации. Однако интеллектуальные системы не могут процветать на медленных или устаревших трубопроводах.
Следите за освоением потоковых основ, управляемых событиями и системами поиска и обратной связи, которые сохраняют ИИ точный и фактический. Это больше не нишевые навыки. Они определяют ваше конкурентное преимущество на рынке, где предприятия ожидают надежного ИИ в режиме реального времени.
Будущее принадлежит инженерам, которые доставляют правильные данные в нужный момент.
Confluent, основанная оригинальными создателями Apache Kafka, впервые провели полную платформу потоковой передачи данных, которая транслирует, соединяет, обрабатывает и управляет данными, когда она течет по всему бизнесу. С Confluent любая организация может модернизировать свой бизнес и управлять им в режиме реального времени. Узнайте больше последних из Comfluent Trending Stories YouTube.com/ThenewStack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Ади Полак — опытный инженер программного обеспечения и менеджер People. Большую часть своей профессиональной жизни она работала с данными и машинным обучением для операций и аналитики. Как практикующий по данным, она разработала алгоритмы для решения реальных проблем с использованием … Подробнее от Adi Polak
