Хроносфера спонсировала этот пост.
В опросе в прошлом году специалисты по наблюдению и безопасности сообщили о 250% в годовом исчислении только в журналах.
Это не удивительно для тех, кто работает с контейнерными приложениями в кластерах в облаках — эти типы систем издают так много данных. Для вас это значит, что понимание того, что происходит в производстве, становится головной болью, когда вы проходите через все больше и больше метрик, журналов, следы и события.
Телеметрический трубопровод может убедиться, что у вас есть соответствующие данные под рукой. Масштабирование наблюдаемости — это не только сборы большего количества данных; Речь идет о том, чтобы данные были полезны и экономически эффективны.
Без телеметрии вы имеете дело с хрупкими зависимостями, сбоями в употреблении, что приводит к снижению данных, непоследовательной сторонней телеметрии и стремительным затратам. Трубопровод дает вам гибкость для маршрутизации телеметрии, где она вам нужна, буферируйте его для надежности, стандартизируйте форматы и оптимизируйте то, что вы храните, чтобы вы получили информацию, необходимую вам без багажа.
Ниже приведен мой удар по прохождению вас через то, что вам нужно знать о телеметрических трубопроводах: какие они есть, почему они имеют значение и как они могут решить общие проблемы наблюдения.
Что такое телеметрический трубопровод?
Сначала я предположил, что «телеметрический трубопровод» был просто еще одним модным модным словом. В конце концов, мы получали журналы и метрики от наших приложений и в системах мониторинга в течение многих лет до того, как этот термин разразился на сцене. Так что это на самом деле?
Телеметрический трубопровод — это система, которая собирает, обрабатывает и направляет данные телеметрии (журналы, метрики и следы) из различных источников до правильных инструментов мониторинга и анализа. Вместо того, чтобы управлять отдельными агентами или коллекционерами для различных сигналов, телеметрический трубопровод объединяет обработку данных, делая наблюдаемость более эффективной и масштабируемой.
Прежде чем погрузиться в дальнейшее, давайте перемотаем, чтобы прояснить кристально в отношении того, что означает «телеметрия».
По своей сути телеметрия — это автоматизированный сбор и передача данных из удаленных систем для мониторинга и анализа. Вы все время видите телеметрию в действии — например, фитнес -трекер, контролирующий частоту сердечных сокращений и отправляя эти данные в приложение. В программном обеспечении телеметрия относится к журналам, показателям, следам и событиям, генерируемым приложениями, инфраструктурой и облачными службами, которые отправляются в системы мониторинга и наблюдения.
Сегодняшние нативные системы облака генерируют постоянный поток телеметрии. Микросервисы, контейнеры, кластеры и без серверов все эмит -события, журналы, метрики и трассировки, каждая из которых в разных форматах, с различными скоростями и с уникальными потребностями в обработке. Эти данные часто должны быть отфильтрованы, обогащены и маршрутизированы на несколько инструментов мониторинга, оповещения и аналитики. Управление им вручную или с фрагментированными решениями быстро становится неустойчивым.
Вот где появляется телеметрический трубопровод.
Поддержка нескольких сигналов
В прошлом вам приходилось запускать разные компоненты для сбора каждого типа сигнала — один для журналов, другой для метрик и еще один для следов. Телеметрический трубопровод упрощает вещи, обрабатывая все эти типы данных в одном двоичном файле. Вы все еще можете запустить отдельные трубопроводы для журналов, метрик и следы. Но вместо того, чтобы изучать три разных технологии, вы используете один и тот же телеметрический конвейер для всех из них. Поэтому, когда вы узнаете, как настраивать и развернуть его один раз, эти знания переносятся, делая вещи намного проще.
Собирать, обрабатывать, маршрут
Телеметрический трубопровод делает три основных вещах:
Собирает Данные из любого места — ваши приложения, базы данных, облачные сервисы или что -то еще, что вы запускаете. Чем больше способов он сможет приглашать данные, тем лучше. Думайте об этом как универсальный приемник, который говорит на языке каждого.
Процессы Данные, очистив его, добавляя контекст, фильтруя шум и маскирующие чувствительные биты. Здесь необработанные данные становятся действительно полезными.
Маршруты Данные, предоставляющие все, куда ему нужно идти, будь то инструменты аналитики, долгосрочное хранение, системы оповещения или в любом месте, что ваша команда нуждается в этом.
По своей сути, телеметрический трубопровод предназначен для получения правильных данных в нужном месте в правильном формате. Это мощно, но что он включает на практике?
Почему телеметрические трубопроводы имеют значение, отделяющую вашу наблюдаемость от любого поставщика
Отправка телеметрии непосредственно поставщику может показаться простой, пока вам не потребуется переключение инструментов, затраты управления или по -разному маршрутизировать данные. Без телеметрии вы либо заблокированы в экосистеме единого поставщика, либо управляете лоскутным одеял агентов и коллекционеров, которые не всегда хорошо работают вместе.
Телеметрический трубопровод действует как промежуточный слой, что дает вам гибкость, чтобы мигрировать между поставщиками без изменения применения применения. Вы можете добавить или удалять направления посредством конфигурации и маршрутизации телеметрии в несколько бэкэндов, чтобы разные команды могли использовать инструменты, которые соответствуют их потребностям. Это также позволяет преобразовать форматы данных на лету, обеспечивая совместимость между платформами наблюдения без изменения кода приложения.
Встроение устойчивости в стек наблюдений
Телеметрия должна быть надежным, особенно во время инцидентов, но прямое приеме может ввести точки сбоя, будь то из сетевых сбоев, пределов скорости или временных перебоев. Телеметрический трубопровод добавляет устойчивость, буферируя телеметрию с очередями, которые могут обрабатывать скачки трафика, повторно выполнить неудачные поставки, чтобы предотвратить потерю данных и обеспечивать локальное инструменты наблюдения для избыточности. Это гарантирует, что даже если конечная точка временно недоступна, у вас все еще есть доступ к критическим данным, чтобы понять вашу систему, когда вам это нужно больше всего.
Управление телеметрией, которую вы не контролируете
Сегодняшние приложения полагаются не только на ваш собственный код. Они извлекают библиотеки из сторонних сервисов, работают на управляемых облачных платформах и интегрируются с устаревшими системами, каждый из которых со своим собственным форматом и уровнем детализации. Поскольку вы не всегда можете контролировать, как генерируется эта телеметрия, понимание ее может быть проблемой.
Телеметрический трубопровод стандартизирует данные между источниками, обогащая их отсутствующими метаданными и фильтрации шума, так что остаются только самые релевантные сигналы. Вместо того, чтобы бороться с фрагментированной, непоследовательной телеметрией, вы получаете чистый, структурированный набор данных, с которым легко работать, независимо от того, откуда это ни пошло.
Управление затратами без жертвоприношения
Наблюдаемость полезна только в том случае, если у вас есть правильные данные, когда вам это нужны. Тем не менее, когда затраты начинают спираль, организации, как правило, чрезмерно корректируют, ограничивая то, что собирается, и заставляют разработчиков нерешиться добавлять необходимые инструменты. Проблема не просто затрат; Это теряет критическую видимость.
Телеметрический трубопровод дает вам контроль над объемом и формой ваших данных, поэтому вы платите за телеметрию, которая на самом деле является ценной, а не только то, что выпускается по умолчанию. Отфильтровывая шум, разумно уменьшая снижение показателей высокой картинальности и отслеживания отслеживания, вы получаете информацию, необходимые вам при сокращении данных, которые вам не служат. Вместо того, чтобы беспокоиться о ограничениях затрат, вы можете правильно сосредоточиться на инструменте своего кода, зная, что ваш трубопровод гарантирует, что наиболее соответствующие данные всегда доступны.
Наблюдение — это не просто техническая проблема; Это бизнес -инвестиции в надежность системы и диагностику. Телеметрический трубопровод гарантирует, что инвестиции работают для вас, а не против вас, делая данные телеметрии более гибкими, устойчивыми и ценными. С правильной основой, следующим шагом является понимание того, как он помогает командам решать реальные проблемы наблюдения.
Начало работы с телеметрическими трубопроводами
Так что же делать сейчас? Следующий шаг — ввести ваши знания в действие. Независимо от того, стремитесь ли вы уменьшить блокировку поставщиков, улучшить качество данных или получить лучший контроль над затратами, телеметрический трубопровод не должен быть усилием. Вы можете начать с малого и развиваться вместе с вашими приложениями, давая вам больше гибкости и понимания с каждой итерацией.
Если вы рассматриваете возможность реализации телеметрического конвейера, отличным первым шагом является поговорить с вашим коллеги -инженером в разработке, операциях и безопасности. Ищите общие точки трения — возможно, отладка замедляется непоследовательными журналами, или, возможно, затраты на мониторинг растут без четкой видимости в то, что на самом деле полезно. После того, как вы определили общую боль, начните с одного типа телеметрии, например, журналов, и постройте оттуда. Если вам не терпится начать и хотите экспериментировать локально, этот мастерская нативных телеметрических трубопроводов облака-отличный практическое руководство.
Хроносфера — это платформа наблюдения, созданная для контроля в современном, контейнерном мире. Признанная в качестве лидера крупными аналитическими фирмами, хроносфера дает клиентам сосредоточиться на данных и идеях, которые имеют значение для снижения сложности данных, оптимизировать затраты и быстрее решать проблемы. Узнайте больше новейших из хроносферных трендовых историй Youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Пейдж Круз-старший разработчик в Chronosphere, которая провела первую часть своей карьеры в качестве инженера-инженера-программиста, ставшего инженером по надежности на месте в New Relic и Lightstep и других. Она проводит подкаст «вне желудка», который исследует человеческую сторону … Подробнее от Paige Cruz
