Язык программирования ржавчины перемещается в новые области, в том числе корпоративные трубопроводы.
В то время как большая часть отрасли полагается на Python и Java для обработки данных, все большее число компаний обнаруживает, что комбинация производительности, безопасности и современного дизайна Rust делает его изменением игры для рабочих нагрузок с интенсивными данными.
Последний пункт доказательства поступает от единственного числа, чья новая платформа Extract обеспечивает 17 -кратное улучшение производительности и до 70% снижения затрат по сравнению с установленными инструментами экстракта, нагрузки, преобразования (ELT) — все приводится в действие Rust.
Почему ржавчина имеет значение для разработки данных
Rust решает фундаментальные проблемы, которые в течение многих лет преследуют разработку данных. Большинство платформ ELT работают на языках, предназначенных для разных целей — Python для простоты, Java для принятия предприятий. Оба несут значительные накладные расходы: коллекционеры мусора, которые непредсказуемо останавливаются, среда времени выполнения, которые потребляют память, и абстракции, которые разработчики дистанции от базового оборудования, сказал Gadi Eliashiv, генеральный директор Singular, сообщил новый стек.
Тем не менее, ржавчина устраняет эти компромиссы, сказал он. Он обеспечивает производительность уровня C с гарантиями безопасности памяти, которые предотвращают целые категории ошибок, все они охватывают современный язык дизайна языка, который не похож на шаг назад.
«Я просто влюбился в это, потому что я, конечно, чувствовал силу в кончиках пальцев», — сказал Элиашив. «Я как, я пишу вещи, которые могут быть кодом ядра. Это настолько эффективно, и этот язык настолько современен в то же время».
Революция эффективности памяти
Числа рассказывают историюПолем Команда Singular сравнивала эквивалентный код соединительного соединения между их устаревшей реализацией Python и новой версией Rust, которую они достигли в 20 раз меньше потребления памяти с Rust. По его словам, для многоцененной платформы SaaS это преобразующе.
«Мы можем в основном втиснуть в 20 раз больше клиентов на данном сервере, и поэтому это драматическая экономия затрат, мы можем предложить нашим клиентам», — пояснил Элиашив. Компания сообщает, что клиенты наблюдают более чем 50% экономию средств, а некоторые операции работают в 100 раз более эффективно, чем устаревшие инструменты.
Этот прирост эффективности не является теоретическим. Extract уже обслуживает корпоративных клиентов, включая Warner Bros. и Electronic Arts, обработку данных в масштабах, которые будут напрягать традиционные платформы на основе Python или Java, отметил он.
Безопасность памяти: скрытое преимущество
Команда Элиашива имеет глубокий опыт в области кибербезопасности и исследований уязвимости, что дает им уникальный взгляд на то, почему безопасность памяти имеет значение для производственных систем.
«Каждый раз, когда кто -то злоупотреблял массивом или структурой в C, C ++, они дважды освобождали область памяти. Это было источником уязвимости», — сказал он. «Тот факт, что нам не нужно думать об этом в ржавчине, невероятен, потому что мы можем писать код, который эффективно эффективно C/C ++, не беспокоясь обо всех этих вещах».
По словам Элиашива, для предотвращения конфиденциальной информации о конфиденциальных предприятиях.
Реальность развития ржавчины
Но усыновление ржавчины не без проблем. В отличие от богатой экосистемы Python предварительно построенных разъемов данных, Rust требуется строительная инфраструктура с нуля.
«Первоначальная инфраструктура заняла некоторое время, потому что… у вас не так много людей пишут разъемы, использующие ржавчину», — признал Элиашив. Команда потратила значительное время на строительство основания, которые могли бы справиться с разнообразием API REST и форматов данных, которые им необходимы для поддержки.
Однако, как только эта инфраструктура была на месте, скорость развития увеличилась. По его словам, строгие проверки Rust Shipler уловлятся во время компиляции, а не времени выполнения, снижая циклы отладки и повышая уверенность в качестве кода.
Масштабирование команд ржавчины
Тем не менее, проблема таланта вырисовывается большим для усыновления ржавчины. Подход Элиашива был методичным — начните с лучших инженеров компании, чтобы установить закономерности и инфраструктуру, а затем расширить круг.
«Мы взяли лучших инженеров в компании, и мы поместили такую специальную команду для этого продукта, и они были первыми, кто изучал ржавчину», — объяснил он. У многих были фон в C и C ++, ослабляя переход.
В качестве бонуса, строгий компилятор Rust стал преимуществом обучения. «В отличие от Python, шансы на [new developers] Разрыв кода действительно маленький, потому что есть компилятор, и это действительно гарантирует, что вы не испортили что -то, — сказал Элиашив. — Мы гораздо более уверены в адаптировании людей и даете им определенные задачи ».
Инструменты кодирования искусственного интеллекта, такие как курсор
Помимо конвейеров данных: расширяющийся охват Руста
Последствия выходят за рамки платформ ELTПолем
«Я думаю, что есть вариант ржавчины в реальном времени, где у вас нет полной стандартной библиотеки, но вы можете написать сверхэффективный код»,-сказал Элиашив. «Я думаю, что это замечательно для всех этих различных видов использования».
Он отметил, что этот язык продолжает быстро развиваться, с улучшением асинхронного программирования и зрелости экосистемы, что делает его все более жизнеспособным для требовательных, в реальном времени приложениях в реальном времени.
Точка перегиба
Принятие Rust в разработке данных сигнализирует о более широком сдвиге. По мере того, как затраты на облако продолжают восхождение, и объемы данных взрываются, повышение эффективности Rust обеспечивает трансляцию непосредственно в бизнес -ценность. Улучшения производительности обеспечивают конкурентное преимущество.
«Extract дал нам возможность, в которой мы нуждались, с простотой, которую хотела наша команда — и все, не нанимая другого инженера», — сказал Гал Карниэль, директор по продукту в Sciplay.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Дэррил К. Тафт охватывает DevOps, инструменты разработки программного обеспечения и проблемы, связанные с разработчиком из своего офиса в районе Балтимора. Он имеет более чем 25 -летний опыт работы в бизнесе и всегда ищет следующий совок. Он работал … читайте больше от Дэррила К. Тафта
