НОВЫЙ ОРЛЕАН — Компания Confluent Inc. хочет помочь организациям ускорить работу в области ИИ, чтобы можно было проводить анализ ИИ и предпринимать действия по мере развития событий.
Разумеется, Confluent — это обработка в реальном времени благодаря платформе Confluent и облаку Confluent. Оба они основаны на платформе потоковой передачи событий Kafka с открытым исходным кодом и частом спутнике Kafka — платформе обработки данных Apache Flink.
Поскольку предприятия по всему миру вкладывают 30–40 миллионов долларов в усилия по созданию генеративного искусственного интеллекта (GenAI), но пока мало что от этого получают, Confluent считает, что недостающим ингредиентом является своевременность.
«Готовые модели являются мощным инструментом, но без непрерывного потока данных они не могут принимать решения, которые являются своевременными и исключительно ценными для бизнеса», — заявил в своем заявлении генеральный директор и соучредитель Confluent Джей Крепс. «Именно здесь потоковая передача данных становится необходимой».
Управление искусственным интеллектом немного похоже на вождение автомобиля, сообщил Шон Фалконер, руководитель отдела искусственного интеллекта Confluent, в интервью TNS.
Вам нужна историческая информация: все, что вам нужно знать о том, как водить машину, чему вы научились на протяжении многих лет. Но вам также нужен постоянный поток новых данных о самой дороге, по которой вы едете, сказал он.
Confluent хочет помочь вашему ИИ получить доступ к этим данным в реальном времени.
Слитный интеллект
На ежегодной конференции компании Current на этой неделе в Новом Орлеане Confluent представила новый набор функций своей потоковой платформы под названием Слитный интеллект.
С сегодняшними системами искусственного интеллекта «существует большая потребность в предварительной разработке этих данных, чтобы они могли выполнять любые задачи, которые вы хотите выполнить», — сказал Фалконер. «По сути, вы управляете логикой систем посредством этих данных и контекста».
Confluent Intelligence предоставит пользователям Confluent набор инструментов, позволяющих легко получать и упаковывать данные со своих потоковых платформ, чтобы их можно было легко использовать в операциях ИИ.
Один компонент представляет собой контекстный механизм реального времениполностью управляемый сервис, который передает материализованные представления любому агенту или приложению искусственного интеллекта. Kafka предоставляет данные, а Flink объединяет наборы данных в новую общую тему.
Доступный в раннем доступе, механизм контекста может передавать эти данные либо внутренним приложениям искусственного интеллекта, созданным на Kafka/Flink, либо внешним приложениям посредством протокола контекста модели (MCP).
Разработчику не обязательно знать конкретно о работе с потоковыми данными; они могут получить снимок контекста или материализованное представление непосредственно из MCP.
Потребность в контекстных данных в реальном времени
Обычно контекстные данные передаются в большую языковую модель (LLM) через приглашение пользователя, возможно, вызывая службы нескольких агентов на основе MCP. Этот подход является дорогостоящим с точки зрения расходования токенов на выполнение нескольких вызовов данных.
«Самая большая проблема заключается в том, что многие из этих точек доступа к API на самом деле не предназначены для контекстуализации данных для систем искусственного интеллекта. Они предназначены для использования конечных точек API. Таким образом, вы в конечном итоге получаете огромную, взрывную стоимость токенов во многих случаях, обслуживая данные, которые не обязательно имеют смысл для ИИ», — сказал Фалконер.
Редко все эти данные хранятся в одной базе данных. Поэтому в некоторых случаях аналитик может создать производный набор данных, который объединяет необходимые данные и сохраняет их в базе данных. Но эти данные устарели, объяснил Фальконер.
Многие операции ИИ требуют доступа к данным в режиме реального времени или почти в реальном времени. Представьте себе бота, который помогает клиенту перебронировать рейс. Или приложение для совместного использования автомобилей, которое требует текущего статуса местонахождения как клиента, так и водителя.
«В конечном итоге вам нужен специально созданный набор данных, который отражает текущее состояние бизнеса. [has] что происходит в данный момент», — сказал Фальконер.
Для организации еще одним преимуществом получения всех контекстных данных из существующей платформы обработки данных является то, что она может применять все свои правила управления, соответствия и безопасности к данным, которые передаются в ИИ, без повторного создания этих мер безопасности на другой платформе.
Используйте платформу данных
Пользователи могут создавать агенты, управляемые событиями, которые изначально работают на Flink, через Стриминговые агентыновую среду разработки, представленную Confluent в августе. Идея состоит в том, чтобы поместить рассуждения ИИ — наблюдать, принимать решения и действовать — непосредственно на уровне обработки данных.
Благодаря этой функции агенты становятся основной функцией Flink.
«Поэтому я могу, по сути, определить агента, определить его роли, какие инструменты ему доступны, модели, которые я хочу использовать, а затем заставить его действовать непосредственно в потоке реального времени», — сказал Фалконер.
Это новый тип агента, который не ожидает ввода данных пользователем, а скорее способен предпринимать действия, когда видит события, происходящие по мере их развития.
Клод из Anthropic будет служить LLM по умолчанию для потоковых агентов.
Чтобы еще больше помочь с ИИ, компания также представила набор встроенных функций машинного обучения (ML), написанных на Flink SQL и охватывающих такие задачи, как обнаружение аномалий, прогнозирование, вывод моделей и визуализация в реальном времени. В настоящее время этот набор функций доступен в Confluent Cloud.
Оставайтесь с нами: на этой неделе TNS будет на Current, чтобы узнать больше о Confluent Intelligence.
ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Джоаб Джексон — старший редактор The New Stack, специализирующийся на облачных вычислениях и системных операциях. Он освещал вопросы ИТ-инфраструктуры и ее развития более 30 лет, в том числе работал в IDG и Government Computer News. До этого он… Подробнее от Джоава Джексона
