Гидроликс спонсировал этот пост.
В последнее время было много разговоров о наблюдаемости 2.0 и более широкое преобразование из трех (или четырех, в зависимости от того, кого вы спрашиваете) столбы наблюдаемого на пути к единому источнику истины: произвольно широко распространенные структурированные события логарифма.
Если мы скидываем это, мы сразу же вернемся туда, где начали — вроде. Вначале были журналы, и теперь мы проходили полный круг, с более широкими бревнами (структурированные события временных рядов высокомерности) и больше, чем когда-либо прежде (плюс высокая кардинальность). Итак, как мы сюда попали? И куда именно мы направляемся?
Три столпа наблюдаемости
Три столпа наблюдения журналы, метрики и следыПолем Если вам действительно нужна умная аббревиатура, вы добавляете события чтобы создать ТАЯТЬПолем Тем не менее, основным строительным блоком вселенной наблюдений всегда был журналы. И я бы сказал, что эволюция трех столбов действительно была произвольным подходом к решению реальной проблемы, которую необходимо решить: как получить информацию в режиме реального времени в данных высокодолумских временных рядов.
Еще в начале 2010 -х годов, когда появилась первая волна наблюдаемости, крупные компании имели Splunk, которая преуспела в централизации и обработке журналов. Стоит размышлять, что Splunk имел свое IPO в апреле 2012 года, и в этот момент уже приходился более 100 миллионов долларов. (Даже тогда предприятия уже были обеспокоены высокой стоимостью Splunk, и объем журналов для большинства предприятий абсолютно взорвался с того времени.)
Но эта первая волна наблюдаемости была больше во всех вещах, которые вы не могли сделать с журналами. Просто не было возможно быстро сделать аналитику и агрегации на больших объемах данных.
Чтобы решить эту проблему, мы добавили еще один столб, метрики. Когда в 2012 году я сопоставлял Influxdata, в базах данных временных рядов произошла зарождающаяся волна инноваций, которые отходили от графита/шепота и приводят к таким вещам, как Influxdb, Prometheus, TimeScale и Gorilla Facebook. Эти инструменты были преднамеренно оптимизированы для хранения метрик и выполнения агрегаций, и вы можете предоставить командам целостное представление о здоровье системы с помощью метрик, таких как средняя задержка запроса и общие ошибки. Этот Hyper Focus был предназначен для заполнения пробелов в традиционных системах управления журналами.
Но вы не могли бы использовать эти системы для поиска строк или тренировки в журналы. Данные о численных временных рядах могут дать вам целостное представление, но они не включали гранулярность, чтобы обеспечить анализ первопричин, чтобы вы могли фактически исправить проблемы, когда они появились. И в большинстве случаев эти системы решали проблемы высокого объема, создавая сводные агрегации и отбросив основные необработанные данные.
Третий столб, распределенная трассировка, была разработана для решения проблемы анализа основной причины в распределенных системах. Google Dapper Paper была выпущена в 2010 году, и Zipkin, еще один ранний инструмент распределенного трассировки, основанный на Dapper Paper, был открыт в 2012 году. Распределенные трассировки позволили командам отслеживать запросы, проходящие через приложение, что облегчает определение узких мест и проблем.
С точки зрения высокой кардинальности, больших объема данных, распределенные трассировки должны были помочь командам просеять шум и сверлить в деталях, которые имели значение. Но трассировка решает очень дискретный набор случаев хорошо — и все остальное плохо. Это не помогает с метриками или журналами. И для систем, которые обрабатывают высокие объемы запроса, трассировки также могут взорвать объем данных дальше и создавать еще больший шум. Отбор выборки (случайным образом сохраняя лишь небольшой процент от трассов) может теоретически помочь решить эту проблему, но затем вы снова теряете пользу от наблюдаемости полного разрешения.
В целом, три столпа могут дать вам глубокое представление о ваших системах. Но, несмотря на все инновации и развитие, фонд является мастером, чем должен быть, потому что ни один из столбов фактически не решает реальную проблему.
Три столпа не решают высокую кардинальность
Поскольку решения об наблюдении якобы стали более зрелыми за последние 15 лет, мы по -прежнему видим, что клиенты борются за управление своими соображениями наблюдения, особенно с ростом облачных нативных архитектур. Так называемые «унифицированные» решения для наблюдения приносят инструменты для управления тремя столпами, но стоимость и сложность продолжают оставаться основными болевыми точками. Между тем, объем данных продолжал расти, при этом 37% предприятий принимали больше, чем терабайт данных журнала в день (по состоянию на 2023 год).
Решения Legacy Logging обычно касаются проблем высокого объема данных и кардинальности посредством короткого удержания окон и многоуровневого хранилища, что означает, что данные либо выбрасываются после довольно короткого периода времени, либо хранятся в замороженных уровнях, где они темнеют.
Между тем, другие временные ряды или метрические базы данных получают данные с большим объемом, объединяют их в метрики, а затем отказываются от основных журналов.
Наконец, трассировка генерирует так много данных, что большинство трассов даже не хранятся в первую очередь. Выборка на основе голов сохраняет небольшой процент трасс, обычно случайный, в то время как выборка на основе хвоста позволяет вам фильтровать более интеллектуально, но за счет эффективной обработки. И затем следы обычно отбрасываются через короткий промежуток времени.
Здесь есть общая тема: в то время как все столпы наблюдаемости обеспечивают различные способы понимания и анализа ваших систем, все они имеют дело с проблемой высокой кардинальности, выбрасывая данные. Если ваши системы небольшие и содержащиеся, то вы, вероятно, в порядке, но в этом случае слишком много инструментов наблюдения, вероятно, излишне. Для самых больших систем, которые действительно должны помогать, три столпа стоят слишком дорого и обеспечивают слишком мало ценности.
Наблюдаемость — это понимание состояния системы на основе ее результатов. Выбросьте выходы, и у вас больше нет наблюдения. У вас есть три шаткие столбы, много сложности и высоких затрат — и для предприятий, которые распределяют системы, у вас все еще нет истинной наблюдения, которую вам обещали.
Решение высокой кардинальности (и размерности)
Нам не нужно переосмыслить лучшие версии дискретных метрических, отслеживающих и регистрационных инструментов. Нам просто нужен один инструмент, который может решить все три проблемы.
Таким образом, мы как -то вернулись к началу. Это действительно просто журналы — широкие, структурированные события. Иными словами, наблюдение — это все о выходах, и эти выходы являются журналами — метрики и следы могут быть получены из структурированных журналов. Вам просто нужен инструмент, который решает проблему производительности запросов перед лицом данных высокой кардинальности и высокой диментирования.
Высокая кардинальность
Данные с высоким содержанием кардиналов состоит из многих уникальных значений-другими словами, они объединяют высокий объем с высокой уникальностью. Сжатие труднее, что приводит к большему количеству данных в хранении и большему количеству вычислительных чтений для запроса. Мы можем как бы объединить проблемы с большим объемом и кардинальностью вместе как огромные проблемы работы с большими данными.
Как мы обсуждали, большинство систем пытаются решить эту проблему, выбрасывая данные или уменьшив ее гранулярность. Мы увидим платформы, все чаще используя ИИ, чтобы «разумно» определять, какие журналы отбрасывать и сохранить — другими словами, пытаясь отделить сигнал от шума. И хотя инструменты ИИ будут чрезвычайно полезны для обнаружения шаблонов и идей, они не должны просто быть еще одним оправданием, чтобы выбрасывать данные.
Вместо этого ответ-это решение, предназначенное для проглатывания, запроса и анализа огромных объемов данных, оставаясь, оставаясь экономически эффективными-все это не выбрасывая базовые необработанные данные.
Высокая размерность
Чтобы журналы предоставили выгоды, которые мы обычно ожидаем от распределенной трассировки, они должны иметь возможность сохранить весь необходимый контекст. Это включает в себя контекст, необходимый для логической группировки и корреляции журналов вместе — и для просмотра запроса через систему.
Здесь вступают в игру «произвольно широкие структурированные события журнала». Журналы могут быть высокой размерностью (широкой, с большим количеством атрибутов) даже без добавления этого дополнительного контекста. Мы видели журналы с тысячами полей, и даже те, которые могут, по -видимому, имеют мрачную бизнес -ценность сегодня, могут привести к серьезным сожалению, если ваша научная группа хочет их в следующем году, но вы никогда не сохранили их.
Чтобы приспособиться к различной степени размерности, даже зная, что большинство пользователей не знают, какие типы данных являются их полями журнала, вам нужно решение с гибкой схемой, например, озеро данных. С гибкой схемой ваши журналы могут быть произвольно широкими, иметь какое -то количество размерности и с течением времени сдвигать типы данных.
Чтобы обеспечить экспертную аналитику с данными высокомерности, решение должно использовать столбчатое хранилище, которое типично для онлайн-решений для аналитической обработки (OLAP), а также гибкие форматы индексации для поддержки полей с различной размерностью. Многие функции OLAP естественны для данных журнала. Например, неизменный подход «написать один раз, прочитать много», гарантирует, что журналы остаются надежным, неизменным источником истины, а также повышают аналитические показатели.
Аналитика в реальном времени-это нечто большее, чем наблюдаемость
В конечном счете, я не думаю, что наблюдаемость 2.0-это создание нового решения, а скорее возвращение к корню наблюдаемости и обеспечение эффективной обработки логарифмических в логатике с большим объемом в сочетании с аналитикой в реальном времени. Когда мы думаем о данных журнала через призму аналитики вместо просто наблюдения, мы можем значительно расширить ее значение.
Данные журнала не только для команд OPS, сосредоточенных на производительности приложений, хотя это критически важное использование. Вместо этого это является частью более широкой картины наблюдения по всей организации. Данные журнала и данные о временных метках в целом предоставляют основополагающую историю о прошлом, настоящем и будущем вашего предприятия. Реальные данные мониторинга пользователей (традиционно олицетворяются в платформах наблюдения) могут дать представление о маркетинге, рекламе и планировании потенциала. Журналы транзакций могут помочь командам науки о том, чтобы отсеять мошенничество. Между тем, команды по кибербезопасности могут использовать те же данные для охоты на угрозы и раскрыть усовершенствованные постоянные угрозы. И чем больше набор данных, тем больше потенциального значения он имеет для обучения моделей AI/машинного обучения (ML) для вариантов использования, таких как обнаружение аномалий.
Затраты на решения о наблюдении, которые данные силока продолжают расти. И первоначальный подход к борьбе с большими объемами данных, выбрасывая их, просто создает больше пробелов для предприятий в то время, когда они требуют большего понимания из своих данных. Реальный ответ состоит в том, чтобы создать решения, которые могут обрабатывать большой объем, высокомерные журналы для аналитики в реальном времени, оставаясь, оставаясь экономически эффективным-и убедиться, что эти журналы доступны везде, где они нужны.
Озеро потоковой передачи гидроликс обеспечивает наиболее быстро растущие продукты наблюдения и безопасность отрасли, трансформируя экономику управления высокой кардинальностью, данные журнала высокой размерности. Узнайте больше последних из Hydrolix Trending Stories YouTube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Тодд Персен является техническим директором в Hydrolix, потоковом озере данных, предназначенном для аналитики в реальном времени и исторической логарифмической аналитике в масштабе. Ранее он был генеральным директором и соучредителем программного обеспечения ERA, создателем Erasearch, облачного продукта хранения для шкалы Petabyte … Подробнее от Todd Persen
