С учетом того, что данные об наблюдении, растущие с захватывающим дух, стартап-скалистые раскопки из Сан-Франциско считает, что появляется новая категория для управления объемом данных и сделать их более полезными.
«Команды тонут в телеметрических данных и сжигают бюджеты, но все же изо всех сил пытаются получить реальное понимание. Мы построили лесопилки, чтобы исправить это-интеллектуальное управление телеметрией, которое фильтрует, обогащает и направляет данные до того, как оно попадет в ваш стек наблюдения »,-написал соучредитель и главный сотрудник по продукту Эруз Русовски в посте LinkedIn.
Компания подчеркивает, что она не является поставщиком наблюдения, но находится между употреблением данных и предложением наблюдения. Он использует AI в верхней части Collector OpenTelemetry, промежуточного программного обеспечения, который может получать, обрабатывать и экспортировать данные в масштабе, а затем добавляет возможности для устранения бесполезных или дублирующих данных, устанавливать ограждения на объем данных, отправляемых поставщику выбора, и рекомендовать способы использования данных телеметрии более эффективно.
Соучредители Sawmills Амир Якоби, Ронит Белсон и Эрез Русовский
«Большой момент, который убедил нас в том, что мы хотим войти в это… понимание того, что новая технология, ИИ и т. Д. Создает новую возможность решить проблему так, как мы считаем, что наша целевая аудитория действительно хочет. DevOps не хочет еще один инструмент, который им нужен, поэтому возможность делать это умным способом является большой частью решения », — сказал генеральный директор Sawmills Ronit Belson.
Способ, слишком много данных
В частности, архитектуры микросервисов генерируют взрыв данных, однако поставщики наблюдаемости взимают плату за объем проглатываемых данных, что приводит к колоссальным счетам, таким как 65 миллионов долларов сша для DataDog для одного ничего не подозревающего клиента.
Данные журнала выросли на 250% в среднем по сравнению с аналогичным периодом прошлого года, сообщили респонденты в исследовании хроносферы 2024 года, а 22% сказали, что они создают 1 терабайт или более журналов каждый день. Добавьте данные для событий, трассий и других метрик, и объем становится явно неустойчивым. Тем не менее, эти респонденты утверждали, что они изо всех сил пытаются получить полезную информацию из этих данных.
В то время как хранение всех данных исторически было способом, чтобы что-то не пошло не так, в будущем, и это необходимо определить причину, даже при экономичном хранении, объем данных сделал это невозможным.
«В наши дни так много инженерных команд имеют хранение полиглот и микросервисы, где различные компоненты написаны на разных языках и в разных структурах. Для волшебного подхода становится все труднее охватить широту, которую мы видим в современной инфраструктуре »,-объяснила соучница и руководитель Hothomcb Кристин Йен в недавнем эпизоде новых производителей стека.
Таким образом, более крупные организации обращаются в телеметрические трубопроводы, которые агрегируют и обрабатывают данные из нескольких источников, согласно отчету Gartner, который консультирует сосредоточиться на стоимости и возврате инвестиций в такую стратегию.
Управление боли массивных объемов данных
Соучредители лесопилки-Белсон, Русовский и Амир Якоби, все с глубоким опытом в DevOps-первоначально намеревались создать стартап на основе инструментов. Но в разговорах с потенциальными компаниями им сказали, что объем данных был самой большой проблемой. Они были шокированы, если им сказали, что только около 10 процентов этих данных полезны. И качество данных, такое как отсутствующие точки данных, непоследовательные форматы и дубликаты данных, также является болезненной точкой.
«Многие данные являются дубликатами данных. Подумайте о сообщении об ошибке, которое повторяется 10 миллионов раз. Вам нужно 10 миллионов сообщений? Наверное, нет. Вам, вероятно, нужно одно сообщение, чтобы сказать: «О, это сообщение повторило 10 миллионов времен», верно? » Русовский сказал.
Когда вы отправляете много данных, которые вам не нужны, это также наносит ущерб эффективности решения об наблюдении, Белсон объяснил
«Анализ основной причины с большим количеством данных, которые не имеют хорошего качества, действительно сложнее. Таким образом, есть куча, есть множество проблем, которые являются результатом количества отправленных данных, и данные, которые вам не обязательно нужны », — сказал Белсон.
Collector Opentelemetry — это «двигатель, который позволяет нам манипулировать данными в потоке, и мы создали над ним уровень управления, а также слой понимания и умной жизни», — сказал Русовский.
Компания работает с клиентами для установки агентов на собственных телеметрических трубопроводах, которые отправляют данные в DataDog, New Relic, Elastic или везде. Агенты обрабатывают данные с использованием моделей ИИ с помощью предложения SaaS, что автоматически определяет возможности для сокращения расходов и улучшения качества данных, но Sawmills не имеет доступа к данным, отметил Jakoby. Клиент полностью контролирует, где он находится, и решает, какие данные отправлять.
«Клиенту не нужно платить выход, и нам не нужно обрабатывать данные, тратить на процессор и т. Д.… Так что нет никаких дополнительных затрат на что -либо, что остается впустую», — сказал Якоби.
ИИ и машинное обучение используются как в потоковых данных, так и в двигателе рекомендаций. Двигатель использует фирменные инструменты, такие как Bedrock OpenAI или AWS, а также собственные облачные языковые модели клиентов. В то время как AI/ML может идентифицировать закономерности, некоторые данные специфичны для приложений, разработанных компанией, поэтому клиент решает, какие данные актуальны.
Клиенты могут настроить ограждения на объем отправленных данных, получая оповещения, когда они приближаются к этим пределам. Они также могут применять рекомендации Sawmills с одним кликом и устанавливать автоматизированные политики, чтобы предотвратить неожиданные переизбытки и проблемы с доступностью. Архитектура также позволяет клиентам гибкость для беспрепятственного переключения поставщиков наблюдения.
По словам Русовского, когда он может быть сделан, когда он предупреждает о приближении одного из его пределов, есть ряд вещей, которые можно сделать: выборка, агрегация или просто отправка данных на недорогие хранилище и уведомление команды решить, что с ней делать.
«Я думаю, что все больше понимает, что клиенты хотят владеть этими данными», — сказал Белсон. «Они не хотят, чтобы решение о наблюдаемости имело эти данные».
Воспользоваться возможностью
Компании с 10 человек около года. Генеральный директор Belson ранее был главным операционным директором в Testim.io (приобретено Tricentis), Rollout.io (приобретено Cloudbees) и Cloudmeter (приобретено Splunk). Технологический директор Jakoby ранее был вице-президентом по разработке программного обеспечения в New Relic, директоре по технике инженерии в Signifai, ведущем инженером по безопасности в менеджере по безопасности и разработке программного обеспечения Preempe в израильской подразделении военной разведки 8200. Русовский был директором по продукту в Cloudbees и генеральным директором и соучредителем Rollout.io.
По словам Белсона, с только что принесено в размере 10 миллионов долларов в семье, компания рассчитывает удвоить численность персонала в ближайшие шесть месяцев.
Он сталкивается с конкуренцией со стороны стартапов, таких как Signoz, Kloudfuse и Edge Delta, а также Cribl.io, не говоря уже о том, что крупные поставщики, такие как DataDog, New Relic, Elastic и Splunk, также удваиваются по данным коллектора Opentelemetry.
«У всех этих данных нет никакого способа остаться без управления», — сказал Русовский. «С этим слишком много проблем, поэтому у нас есть твердое убеждение в том, что существует категория, которая сформируется, теперь управляя этими данными, и мы надеемся воспользоваться этой возможностью на этой стороне».
Лиран Гринберг, управляющий партнер в Team8, который руководил недавним раундом SEED, называемый телеметрическим управлением данными быстро развивающейся, новой критической категорией.
«Решение затрат важна, но реальная проблема — это управление, гибкость и способность получить действенную информацию из собираемых данных. Sawmills решает этот вызов в лоб »,-сказал он в посте в блоге. «Команда Sawmills глубоко понимает проблему и всеобъемлющее видение, которое прекрасно позиционирует их для владения этой новой категорией».
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Сьюзен Холл является редактором спонсора нового стека. Ее задача — помочь спонсорам достичь самых широких читателей для их предоставленного контента. Она написала для нового стека с первых дней, а также сайтов … Подробнее от Сьюзен Холл
