Гидроликс спонсировал этот пост.
Всего несколько лет назад многие предприятия работали над консолидацией данных журнала в единую платформу наблюдения. Объединяя все свои данные на одной платформе, пользователи получат унифицированные панели мониторинга и возможность коррелировать и анализировать все данные их телеметрии в одном месте. Там больше не было бы фрагментации инструмента или поворота стула. А решения для наблюдаемости премиум -класса предлагали красивые пользовательские интерфейсы, которые сделали привлекательность консолидации, особенно дразнящей.
Тем не менее, отправка всех этих телеметрических данных в одно премиальное решение поставляется с большой уловкой: высокие затраты, особенно для больших объемов журналов. По мере того, как объемы журналов продолжают расти, платформы наблюдения премиум -класса стали слишком дорогостоящими, и предприятия стремятся снизить общую стоимость владения (TCO) наблюдения. И многие традиционные платформы наблюдения имеют проблемы, связанные с тем, чтобы справиться с масштабами данных, которые распространены сегодня.
В результате хранение данных на одной премиальной платформе больше не является тенденцией. На самом деле, наоборот верно. Предприятия уходят от использования одной платформы наблюдения и к многоуровневому подходу, который хранит и анализирует данные журнала в нескольких решениях. Важно отметить, что этот подход не следует путать с горячими/холодными системами хранения, где данные хранятся в разных уровнях доступности для снижения затрат.
Вместо этого этот подход разделяет данные на уровни золота, серебра и бронзового уровня, с наиболее ценными данными «золота», отправляемыми на решения премиум-класса, в то время как данные «серебро» и «бронзовые» отправляются на более экономически эффективные решения для ведения ведения ведения ведения ведения ведения ведения ведения ведения ведения регистрации или хранятся в структурированных данных. Чтобы сэкономить деньги, предприятия отправляют лишь небольшую долю своих данных об наблюдении на премиальные платформы — обычно менее 10% — и отправляют остальных в более доступные решения, что позволяет им обуздать расходы.
Почему предприятия движутся к многоуровневой наблюдению
Многочисленные тенденции стимулируют толчок к многоуровневой наблюдению. Предприятия имеют дело с высокими затратами на платформы наблюдаемости премиум -класса, а также огромный рост объемов логарифмических. Согласно отчету Gartner, «потрачивайте на контроль за наблюдением под контролем», «затраты на наблюдение высоки и растут в геометрической прогрессии. В 2024 году средние расходы клиентов Gartner на платформы наблюдения превышали 800 000 долларов в год с одним поставщиком, что отмечает увеличение на 20% год по сравнению с годом».
Большая часть увеличения затрат обусловлена ростом объемов журналов. В отчете также упоминается: «Значительная часть затрат обусловлена взрывом в объемах и скорости телеметрии, часто ускоряющейся в результате перехода к современным архитектурам и приложениям. Традиционные подходы к проглатыванию телеметрии неэффективны и больше не подходят для этих рабочих нагрузок».
По состоянию на 2023 год 37% предприятий уже принимали более чем терабайт данных журнала в день, причем 15% предприятий генерировали более 10 терабайт в день. Эти цифры, безусловно, выросли за последние несколько лет, и, по крайней мере, терабайт в день все чаще становится нормой для предприятий, а не исключением.
Согласно отчету Gartner, «сосредоточиться на телеметрическом трубопроводе для достижения успеха в вашей инициативе по наблюдению», «поскольку организации продолжают переходить к своей инфраструктуре к облаку и трансформировать стратегию наблюдения, объем, скорость и разнообразие данных телеметрии также увеличились. Десять лет назад контракты были около 10 с. [tens] до 100 -х годов ГБ бревен в день. Но сегодня это от 10 до 100 лет.
Таким образом, основными целями многоуровневой наблюдаемости являются обуздание затрат и рассмотрение роста объемов данных. Но как предприятия могут лучше всего реализовать многоуровневое хранилище, не возвращаясь к самым болезненным точкам, которые делают премиальные платформы наблюдения настолько привлекательными в первую очередь? Прежде чем ответить на этот вопрос, давайте сначала разберем уровни многоуровневой наблюдения, а затем посмотрим, как серебряный уровень обеспечивает универсальность, необходимую для сбалансировки стоимости и пользовательского опыта.
Разрушение уровней многоуровневой наблюдения
Многоуровневое наблюдение, как правило, поставляется в трех или четырех уровнях: золото, серебро и бронза (с платиной, иногда брошенной). Давайте посмотрим на трехуровневую структуру.
Уровни
Приоритет
Тип решения
Хранение/удержание/доступность
Расходы
Примеры
Принесение доходов от золота, без устойчивости к краткосрочному задержке платформы для наблюдаемой платформы для наблюдаемой промышленности, особенно в масштабе Splunk, DataDog Silver, важно, с ограниченной толерантностью к тому, что с высоким содержанием датчика с высокой точки зрения Olap/Log Analytis Экономичный AWS S3 с открытым форматом таблицы, такого как айсберг Apache
Золотой уровень зарезервирован для наиболее критически важных данных об наблюдении, где любые отключения приведут к потерянному доходу. Эти данные хранятся на премиальных платформах, разработанных специально для наблюдения, с обширными визуализациями, предупреждениями и корреляционными возможностями. На этом уровне должна храниться только небольшая часть данных (обычно менее 10%, причем меньше лучше). Основная причина — это стоимость, но это не единственная причина. Другая важная причина заключается в том, что платформы наблюдения, как правило, являются садами на стенах. Они очень хорошо справляются, но они не предназначены для предоставления данных для использования, таких как наука о данных и обучение машинного обучения (ML). В результате данные либо должны быть экспортированы в другие решения (часто приводя к дополнительным конвейерам и затратам данных), либо их использование остается ограниченным наблюдаемостью.
Серебряный уровень во многих отношениях является самым универсальным и важным уровнем, а не только за его потенциальную экономию затрат. Серебряный уровень обычно зарезервирован для данных, которые важны, но не так критически важны для наблюдения, как золотой уровень. Решения на этом уровне часто представляют собой решения онлайн -аналитической обработки (OLAP) или имеют много элементов OLAP, таких как высокоэффективное столбчатое хранилище, предназначенное для записи один раз, прочитайте многие (червячные) варианты использования. Журналы, которые должны быть неизменными по дизайну, являются прекрасным примером использования червя.
Решения серебряного уровня все чаще опираются на экономически эффективное хранение объектов, обеспечивая масштаб для приема данных в реальном времени и аналитике. В отличие от решений для наблюдаемости премиум -класса, они являются многоцелевыми, что является преимуществом, когда речь идет о демократизации данных и предоставлении их доступными там, где это необходимо, будь то платформа наблюдения премиум -класса, такую как Splunk или аналитическая платформа, такая как DataBricks.
Они не предлагают полностью разработанные предложения наблюдения, поэтому существует потенциальный компромисс, когда речь идет о применении полного набора наблюдений для данных с серебра. В идеале они включают интеграции или возможность федерации данных в решениях Premium Observicability Solutions, поэтому команды OPS по -прежнему имеют доступ к своим любимым инструментам и визуализациям.
А как насчет данных журнала, которые критически важны для множественных вариантов использования, а не только наблюдаемости? На самом деле может быть лучше хранить в решении серебряного уровня, которое совместимо для тех случаев использования, вместо того, чтобы отправлять его в решение золота, где оно используется только для наблюдения, прежде чем отбрасываться из-за ограниченных периодов удержания.
Наконец, бронзовый уровень содержит все другие данные — данные, которые, скорее всего, пишут один раз, читайте никогда (никогда (не изношен). Это могут быть данные, которые в основном хранятся для соблюдения или потенциального судебного анализа, если есть нарушение. Или это могут быть данные журнала для услуг с более низким приоритетом, где время простоя не столько проблем.
Несмотря на то, что его можно отправить на неструктурированное озеро данных и запросить такую услугу, как AWS Athena, это не является эффективным методом для аналитики в реальном времени. Добавляя структуру с открытыми форматами таблицы, такими как Apache Araceberg, запросы значительно более эффективны. И одной из целей форматов открытых таблиц является высокая совместимость, хотя работа еще предстоит проделать, чтобы обеспечить эту совместимость пользователям.
В конечном счете, как серебряные, так и бронзовые решения должны предлагать экономически эффективные, высоко масштабируемые данные, хранение и аналитику. Должна быть высокая степень взаимодействия, в том числе с платформами наблюдений, инструментов визуализации (например, Grafana), платформ аналитики данных (например, Databricks и Snowflake) и инструменты разработки AI/ML, такие как MLIB и другие инструменты в экосистеме Apache Spark.
Теоретически, решения серебряного уровня обеспечивают более быструю аналитику и более высокую доступность при немного более высокой стоимости, в то время как решения бронзовых уровней более экономически эффективны за счет доступности и скорости.
Но линии быстро размываются из -за высокого уровня инноваций в областях анализа данных и хранения. Решения в стиле OLAP могут обеспечить экономическую эффективность бронзового уровня, поскольку они по существу являются оптимизированными озерами данных, используя экстремальное сжатие и построены на хранении объектов. А открытые форматы, такие как айсберг, обеспечивают основу для быстрых, экономически эффективных озеро.
В конечном счете, предприятиям действительно нужно просто решение, оптимизированное для аналитики журналов, которое является экономически эффективным, быстрым и совместимым. Правильное решение может обеспечить лучшее из серебра и бронзы, упрощая концепцию многоуровневой наблюдения и делает его гораздо более управляемой для команд.
Многоуровневая наблюдение с унифицированным пониманием
Многоуровневый подход может иметь дополнительную сложность, и многие команды могут (правильно) обеспокоены тем, что они снова застряли с фрагментированной информацией. Платформы премиум -наблюдаемости предлагают интеграции и агрессивный подход, который может сделать наблюдение казаться относительно легкой. И предприятия могут задаться вопросом, потребует ли использование нескольких решений больше технических ресурсов для настройки, поддержания и использования. Это все разумные проблемы, и есть способы смягчить их.
- Серебро и золото может быть достаточно: Как упоминалось в предыдущем разделе, решения серебряного уровня опираются на экономически эффективное хранение объектов и используют экстремальное сжатие для снижения затрат. Это означает управление только двумя уровнями, а не тремя-решением для наблюдаемости премиум-класса и экономически эффективным логарифмическим аналитическим решением. Таким образом, многоуровневая наблюдаемость на самом деле все еще касается наилучшей практики централизации журналов — за исключением того, что большинство бревен централизованы вне решений для наблюдаемости премиум -класса.
- Федерация данных и совместимость имеют решающее значение: Сосредоточив внимание на совместимости и федеративном подходе к запросу данных, команды могут визуализировать и анализировать данные, используя свои предпочтительные инструменты. В качестве примера, объединение разъема с экономически эффективным аналитическим решением может позволить командам запросить и визуализировать свои данные в Splunk, используя язык обработки поиска Splunk (SPL). Это уменьшает фрагментацию инструмента и помогает объединить Insights.
- DIY не нужен: Для предприятий, у которых нет технических ресурсов, чтобы посвятить себя подходу к DIY, существуют решения для анализа логических подключений, которые очень масштабируются. Нет необходимости создавать и настраивать озеро с нуля, хотя этот вариант существует и может быть правильным подходом для некоторых предприятий. А для тех, кто ищет DIY, хорошая новость заключается в том, что инструменты с открытым исходным кодом, такие как Apache Araceberg, облегчают создание озеров данных. Тем не менее, имейте в виду, что строительство и поддержание потокового трубопровода, предназначенного для масштабирования огромных объемов журнала в режиме реального времени, может оставаться основным готче.
Поскольку решения серебряного и бронзового уровня продолжают сосредоточиться на совместимости, предприятия будут все чаще получать наилучшие из обоих миров: экономически эффективное приглашение и хранение в сочетании с пониманием инструментов наблюдаемости премиум-класса.
Озеро потоковой передачи гидроликс обеспечивает наиболее быстро растущие продукты наблюдения и безопасность отрасли, трансформируя экономику управления высокой кардинальностью, данные журнала высокой размерности. Узнайте больше последних из Hydrolix Trending Stories YouTube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Франц Кнупфер является директором по контенту и исследованиям в Hydrolix, озеро потокового данного данных для журналов и данных о событиях. До Hydrolix он преподавал и был директором учебной программы в кодовой школе, а также работал в наблюдении … Подробнее от Franz Knupfer
