Хроносфера спонсировала этот пост.
Не так давно выбор решения об наблюдении было проще: вы пошли с поставщиком или полностью занялись открытым исходным кодом. Никогда оба.
Но со стандартами, такими как Opentelemetry и Prometheus, эти жесткие границы исчезли. Сегодня вы можете смешивать решения поставщиков с технологиями с открытым исходным кодом для создания вашего идеального стека наблюдений. Хотя эта гибкость является мощной, это также означает навигацию по морю постоянно меняющихся и перекрывающихся терминов.
Наблюдаемость предназначена для всех, но может быть сложно понять, когда мы не можем даже договориться о определении мониторинга производительности приложения (APM). Даже после десятилетия, работая в наблюдении, как практикующий или поставщик, я озадачен избытком новых терминов и концепций. Иногда это заставляет мою голову хотеть взорваться.
Возьмите, например, телеметрические трубопроводы.
Когда я впервые услышал об этом, у меня были бесконечные вопросы: это был конкретный продукт? Новая категория инструментов? Чем именно это отличалось от коллекционеров и агентов, которые мы использовали годами? Эти вопросы начали долгие дебаты с моими коллегами, каждая из которых со своим собственным определением
Это привело меня в исследовательскую кроличье дыру — и я явно не одинок в своем любопытство. Gartner сообщил о увеличении запросов на 500% запросов о телеметрических трубопроводах из организаций клиентов в период с 2021 по 2023 год. Учитывая, сколько из нас пытается обернуть голову вокруг этой концепции, я знал, что пришло время для четкого объяснения. Итак, вот мое определение:
Телеметрический трубопровод — это система, которая собирает, преобразует и направляет данные телеметрии (журналы, метрики и следы) из различных источников в различные инструменты мониторинга и анализа. Вместо того, чтобы управлять отдельными агентами или коллекционерами для различных сигналов, телеметрический трубопровод обрабатывает данные по единому маршруту, что делает наблюдаемость более эффективной и масштабируемой.
Итак, что такое агенты и коллекционеры?
Если задача конвейера телеметрии состоит в том, чтобы собирать, обрабатывать и экспортировать данные телеметрии, то для чего являются агенты и коллекционеры? Если ваша голова уже вращается, поверьте мне, я был там. Когда я впервые начал изучать телеметрические трубопроводы, я хотел определить четкие, универсальные различия между агентами, коллекционерами и телеметрическими трубопроводами.
Но чем глубже я выкопал, тем больше я понял, что эти термины не всегда аккуратно сопоставляются с строгими определениями — разные команды и поставщики используют их немного по -разному. Тем не менее, все еще полезно иметь общую систему отсчета.
Агенты: первая миля телеметрии
Агенты похожи на вашего местного почтового перевозчика — они работают у источника, собирая телеметрию из конкретного приложения или системы и пересылав его в центральное место. Как правило, они работают вместе с приложениями в качестве колясок или на одном хосте, сосредотачиваясь на этой «первой миле» доставки данных.
Коллекционеры: агрегаторы средней мили
Коллекционеры похожи на региональное почтовое отделение, собирая данные телеметрии от нескольких агентов (или непосредственно из приложений и инфраструктуры), прежде чем отправлять их в конечный пункт назначения. Коллекционеры могут получать и направлять телеметрию.
Телеметрические трубопроводы: вся система
Телеметрический конвейер похож на всю почтовую систему и отвечает за обработку данных об наблюдении. Он не просто направляет данные, но может нормализовать, обогащать, фильтровать и динамически направлять телеметрию на основе ваших потребностей.
Телеметрические трубопроводы в реальном мире
Хотя метафора почтовой службы полезна для обеспечения базового уровня понимания, реальность такова, что термины «агент», «коллекционер» и «телеметрический трубопровод» не имеют общепринятых терминов, вырезанных в камне. Определения меняются в зависимости от контекста и реализации. Когда вы понимаете, как относятся эти термины, легче ориентироваться в джунглях терминологии — и, что более важно, создать телеметрический трубопровод, который работает для вас.
Давайте посмотрим, как два ведущих телеметрических трубопроводов с открытым исходным кодом используют эти термины.
Коллекционер Opentelemetry
Документы коллекционера Opentelemetry описывают его как «поставщик-агрессивный способ получения, обработки и экспорта данных». Звучит знакомо? Это потому, что он идеально соответствует моему определению телеметрического конвейера.
Но, несмотря на функционирование как телеметрический конвейер, он называется «Коллекционер», который может привести к тому, что вы думаете, что это всего лишь реле средней мили без возможностей обработки данных. Перекрытие терминологии на этом не останавливается. При настройке коллекционера OpenElemetry вы настраиваете конвейеры — конкретные пути данных, которые обрабатывают журналы, метрики, события или следы.
Тогда есть вопрос о том, как развернут коллекционер Openelemetry. Он может действовать как агент (коллекция телеметрии первой мили) или как шлюз (централизованный центр обработки). Но вот где это становится еще сложнее: в других системах мониторинга это развертывание шлюза называется «коллекционером», термином резервами OpenElemetry для самой программы. Это такая тонкая, но значительная несогласованность, которая заставляет вас переосмыслить то, что означают эти слова, в зависимости от той экосистемы, которую вы используете.
Это не специфично для Opentelemetry; Fluent Bit также проверяет все коробки телеметрического конвейера — он собирает, обрабатывает и направляет данные телеметрии — но он также настроен с «трубопроводами» и может быть развернут в качестве агента или централизованного шлюза. В мире свободного бита «трубопровод» может быть либо свободно, либо в целом или отдельные трубопроводы в нем. Такая же основная функциональность, но немного другая терминология.
Чем больше вы знаете
Я дал вам свой взгляд на эти термины, и понимание пришло из моих исследований, реального опыта и долгих разговоров с коллегами. Но всегда есть больше, чтобы учиться, а язык-плавное, постоянно развивающееся и подлежат интерпретации. Если у вас есть предложения или другой взгляд, я бы хотел услышать их, протянуть руку на Мастодон или Блюзский. И если вы ищете быструю ссылку, наш Глоссарий Telemetry Pipeline — отличный ресурс для закладки.
Хроносфера — это платформа наблюдения, созданная для контроля в современном, контейнерном мире. Признанная в качестве лидера крупными аналитическими фирмами, хроносфера дает клиентам сосредоточиться на данных и идеях, которые имеют значение для снижения сложности данных, оптимизировать затраты и быстрее решать проблемы. Узнайте больше новейших из хроносферных трендовых историй Youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Пейдж Круз-старший разработчик в Chronosphere, которая провела первую часть своей карьеры в качестве инженера-инженера-программиста, ставшего инженером по надежности на месте в New Relic и Lightstep и других. Она проводит подкаст «вне желудка», который исследует человеческую сторону … Подробнее от Paige Cruz
