Как вы максимально используете развертывание снежинок?
Согласно тематическому исследованию, представленному на Snowflake Summit 2025, оптимизируя чертовски выполнения запросов и размеров хранилища данных, представленного на Snowflake Summit 2025.
Бломберг, работая с Infosys, смогла сэкономить 56 000 долларов в год на свои счетные счета за снежинками, просто искав неэффективную практику в рамках своих операций по данным снежинки. Он определил дорогостоящие запросы, ненадлежащие тайм-ауты, ненужные резервные копии и даже чрезмерные преобразования просмотра в стол, а также около дюжины других анти-паттернов.
Затем он создал приложение для автоматизации процесса.
Постоянная очистка
Kraft Heinz — одна из крупнейших компаний по продуктам питания и напиткам в мире, в которой годовые продажи более 26 миллиардов долларов. Для развертывания снежинок он использует около 67 000 кредитов в месяц. Kraft поддерживает около 800 ТБ хранения на 350 складах, с 400 000 таблиц.
Компания удвоила свои трубопроводы, управляемые данными, в 2020 году в поисках способов, которыми данные могут обеспечить большую ценность для компании. Три года спустя руководители пищевой компании начали спрашивать: «Какова стоимость тех продуктов данных, которые мы построили до сих пор? И, вы знаете, есть ли у нас возможность улучшить то, как мы храним эти продукты данных и загружают эти продукты данных», — сказал Бломберг.
Действительно, у компании было много специальных складов, которые, вероятно, могут быть правильными. Запросы могут быть точно настроены, чтобы не использовать так много ресурсов.
В начале 2024 года компания начала инициативу, которая выявила смещенные хранилища данных и предупредила соответствующих владельцев бизнеса о внесении соответствующих корректировок.
Проект был таким успешным, Крафт посмотрел, как он мог быть автоматизирован.
Это было бы необходимо.
Бломберг знал, что Snowflake продолжит внедрять новые услуги, а сами хранилища данных Kraft ONW и рабочие процессы будут в постоянном состоянии.
Таким образом, регулярная очистка того, как Kraft использовал снежинка, была бы постоянной задачей.
«Нам действительно нужно сделать это устойчивым, повторяемым процессом», — сказала она.
Приложение для этого
Благодаря Infosys и Snowflake компания создала внутреннее приложение для выявления нептимальных и миманированных хранилищ данных. Приложение работает на ежеквартальном анализе и отправляет результаты владельцам бизнеса.
Приложение было построено полностью как приложение для нативного снежинки. По словам Бломберга, этот подход будет проще, чем использование стороннего услуги, учитывая, что снежинка имела все необходимые функциональные возможности и данные, а также встроенные управления безопасности и управлением управлением, Kraft уже использовал.
Приложение опирается на все операционные данные, которые снежинок предоставляет всем своим клиентам. По словам Нюна, помещение таблицы для оптимизации хранения может включать в себя, сколько пользователей получают доступ к таблице, как часто она загружается, сколько данных, как часто данные удаляются.
Команда DEV также создала набор метаданных для объяснения бизнес -целей для каждого ресурса.
Проект использовал потоковую связь Snowflake, облачную версию библиотеки Python Python с открытым исходным кодом для создания приложений данных.
Snowflake также обеспечивает возможность создавать модели, которые используют эксплуатационные данные снежинки для дачи рекомендаций.
Рекомендации поступают из двух бассейнов, объяснила Нуна. Одним из них является детерминированным, которые являются лучшими практиками, уже известными инженерами Крафта, и используется для выявления производительности подразделений. Другой-модель, набор лучших практик, основанных на ML, Kraft хотел бы придерживаться его систем.
В настоящее время у компании есть собственная команда, разработавшая пользователь, чтобы сделать приложение более действующим для владельцев бизнеса.
«Мы гарантируем, что видимость предоставляет много информации. Без видимости многие компании или команды потеряют подтверждение того, на что им нужно действовать», — сказал Нун.
Монитонные панели обеспечивают отслеживание затрат и использования, а также то, что изменилось за последние несколько месяцев.
Приложение может использоваться для назначения проблемы и отслеживания его результатов посредством интеграции с JIRA, ServiceNow и другими системами API.
Как только проблема будет решена, она может даже предложить оценку того, сколько денег было сэкономило.
Он также хорошо подходит к управлению.
«У нас есть одна стеклянная панель», — сказала она. «Это показывает, каково это использование для нашей среды снежинки. Это показывает, какие возможности выявлены, и ожидаемые сбережения, которые вы могли бы иметь, если вы рассмотрите эти возможности. И тогда это наконец покажет вам возможности, которые уже были рассмотрены, и какова была сбережения, связанные с этими возможностями».
Сберегательная изобилие
Приложение проверяет модели потребления в вычислительных, хранении и разных услугах, используя фильтр из 19 типов «вырезов возможностей», где можно сделать эффективность, а также объяснения того, как проблема может быть решена.
Все виды ресурсов снежинки, где вы можете сэкономить деньги компании.
«Каждый небольшой запрос увеличивает стоимость», — сказала Нун. Один запрос может стоить только кредит, но если он работает каждые 15 или 20 минут, может добавить огромный счет.
Одна из громких «возможностей», как их называет Nune,-это конверсии View-Toble, которые являются дорогими способами (на земле снежинки) для обеспечения более доступной доступности данных.
По словам Нюна, резервные копии — еще одна область для сбережений.
Каждая организация имеет ненужные столы резервного копирования. Возможно, они были созданы как приложение обновляется, и разработчики также хотят создать резервную копию данных. Во-первых, это избыточно из-за собственной функции путешествия с Snowflake, сказал Нун. Но тогда команда дизайнеров приложений вообще забывает о резервных столах.
Для этих случаев приложение будет следить за использованием таблицы, чтобы определить, как часто оно консультируется, если вообще. Если это мертвый стол, он помечен для удаления. Его можно даже настроить, чтобы автоматически отбросить таблицы, если не использовать периодически.
До настоящего времени приложение определило более 100 ТБ избыточного хранилища на протяжении всего счетов Крафта.
Снежного саммита 2025 Презентации можно просмотреть после бесплатной регистрации.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Joab Jackson является старшим редактором нового стека, охватывающего облачные нативные вычисления и системы системы. Он сообщил об инфраструктуре и развитии IT более 25 лет, в том числе в IDG и государственных компьютерных новостях. До этого он … читал больше от Джоаба Джексона
