Эдера спонсировала этот пост.
В самом сердце Силиконовой долины, Tech Titans выпускают беспрецедентные затраты на инфраструктуру AI в 320 миллиардов долларов на 2025 год. Запланированные капитальные затраты Amazon на 100 миллиардов долларов представляют собой драматический скачок от инвестиций в 77 миллиардов долларов в прошлом году. Между тем, Microsoft, Google и Meta в совокупности объединяют свои инвестиции в инфраструктуру на 30% по сравнению с 2024 годом. Мы видели этот фильм раньше — и у него не всегда есть счастливый конец.
Будучи 25-летним инженером-программным обеспечением, который погрузился в технологии нескольких вычислительных революций, я изучал шаблоны, которые возникают при смене парадигм. От перехода локального программного обеспечения до виртуализации, от виртуальных машин (VMS) до облачных нативных контейнеров, а теперь до эпохи ИИ, цикл безошибочен. История всегда повторяется: скорость превосходит безопасность, неэффективность принимается, поскольку цена инноваций и технический долг накапливается молча, пока не станет нанести вред.
Уроки прошлого цифрового преобразования
Помните спешку в облачные вычисления? Организации мигрировали рабочие нагрузки оптом, часто без перепроектирования для облачных нативных эффективности. Возьмите миграцию Netflix в AWS, которая началась в 2008 году, но заняло почти восемь лет. Его первоначальный подход «подъема и сдвига» вызвал значительные перебои, включая сбои в канун Рождества 2012 года, которые затронули миллионы клиентов. Только после принятия облачных принципов и разработки инструментов, таких как его система тестирования устойчивости к обезьянам, действительно достигли надежности и эффективности, которые обещало облако.
Затем появилась контейнеризация — преобразующий подход, обещающий большую эффективность и мобильность. Тем не менее, многие организации внедрили контейнеры на существующей инфраструктуре без решения фундаментальной безопасности и проблем с эффективностью. Target испытала это воочию во время своего путешествия по внедрению контейнеров, обнаружив, что его традиционные инструменты безопасности не могут адекватно защитить контейнерные рабочие нагрузки, что приводит к пробелам видимости и потенциальным уязвимостям. Знаменитый и смущающий «неудачный кит» (ранее известный как Twitter) и смущающе частые «провальные киты» стали попыткой запустить монолитное рубиновое приложение с плохо разработанной обработкой сбоя. Промышленность постепенно созрела, развивающиеся платформы оркестровки, такие как Kubernetes и стандартизированные методы безопасности, но не до того, как сделать дорогостоящие ошибки, это могло избежать надлежащего планирования.
Каждый из этих переходов последовал за аналогичной траекторией: первоначальное изобилие, стремление к реализации, безопасность как запоздалая мысль, неэффективное использование ресурсов и, в конечном итоге, более зрелый подход, который сбалансировал инновации с требованиями предприятия.
Учиться на прошлом, чтобы спасти завтрашние инновации
Сегодняшний бум ИИ рискует попасть в те же ловушки — только с более высокими ставками. По сообщениям, обучение Openai’s GPT-4 стоило более 100 миллионов долларов в виде вычислительных ресурсов. Вычислительные требования современного ИИ огромны, при этом такие компании, как Microsoft Building, специализированные суперкомпьютеры, просто для обучения этих моделей. В гонке по развертыванию приложений ИИ есть организации, принимающие огромную неэффективность в том, как работают эти рабочие нагрузки.
Золотая лихорадка ИИ, естественно, также имела соответствующий эффект от внедренного всплеска проектов искусственного интеллекта. В отчете Github Octoverse 2024 приведены 137 000 генеративных проектов AI (Genai), размещенных на GitHub, на 98% в год с 2023 года. Если мы больше ничего не узнали с точки зрения безопасности цепочки поставок программного обеспечения, то проекты с открытым исходным кодом сильно не получают пребывания в сфере безопасности.
Предприятия стремятся развернуть новые проекты искусственного интеллекта с открытым исходным кодом, принимая необходимые меры безопасности, чтобы изолировать их от остальной части их инфраструктуры? Или они игнорируют недавнюю историю безопасности с открытым исходным кодом и доверяют им по умолчанию?
С тревоги, также есть сообщения о том, что киберпреступные группы из Китая, Северной Кореи и России активно нацелены как на физическую, так и искусственную инфраструктуру, одновременно используя вредоносные программы для более эффективного использования уязвимостей. Исследование Microsoft в 2024 году показало, что рабочие нагрузки на основе контейнеров, включая системы искусственного интеллекта, сталкиваются с растущими угрозами, причем ожидается, что к 2024 году принятие контейнеров достигнет 52%, что сопровождается растущими проблемами безопасности.
И все же есть причина для оптимизма. Уроки предыдущих технологических переходов могут проинформировать лучший подход к инфраструктуре искусственного интеллекта — тот, который обеспечивает необходимость в гибкости, при этом с самого начала создает безопасную, эффективную основу.
Контейнер -загадка: мощный, но несовершенный
В то время как контейнеры произвели революцию в развертывании приложений, они ставят серьезные проблемы при применении к рабочим нагрузкам искусственного интеллекта.
Неэффективность ресурса
Стандартная контейнеризация часто приводит к отходам к ресурсам. Например, инженерная команда Uber обнаружила, что его услуги по контейнерному машинному обучению (ML) использовали только 20-30% выделенных ресурсов GPU, которые эффективно тратят 70-80% своей дорогой инфраструктуры ИИ. Это неэффективность соединяется с рабочими нагрузками ИИ, которые уже являются ресурсными.
Уязвимости безопасности
Безопасность контейнеров остается постоянной проблемой. Контейнеры делятся ядром операционной системы хоста (ОС), создавая уникальные векторы атаки, которые традиционные инструменты безопасности не могут обратиться. Эфемерная природа контейнеров делает мониторинг безопасности особенно трудным, так как Microsoft отмечает, что группы безопасности пытаются определить, какие контейнеры работают в любой момент времени и определяют уязвимые.
Производительность узких мест
Контейнеры вводят накладные расходы, которые особенно проблематичны для рабочих нагрузок искусственного интеллекта. Инженерная команда Netflix задокументировала, как ее услуги по выводу ML сталкивались с проблемами задержки при контейнере из -за сети и узких мест ввода -вывода, присущих архитектуре контейнеров. Для приложений ИИ в реальном времени эти штрафы на производительность могут быть неприемлемыми.
Операционная сложность
Динамический характер контейнерных средт вводит значительную оперативную сложность. Согласно отчету о состоянии инфраструктуры искусственного интеллекта, 2024 года, 82% организаций столкнулись с проблемами эффективности с их рабочими нагрузками ИИ в течение последних 12 месяцев, часто вытекающих из операционных проблем управления контейнерными средами.
Создание инфраструктуры ИИ в будущем
Решение наших нынешних проблем инфраструктуры не отказывается от контейнеров или замедления инноваций-оно применяет проверенные по времени принципы, адаптируя их для уникальных требований ИИ. Вдумчивый подход сочетает в себе надежность проверенных технологий с требуемыми командами современной разработки Agility.
Переосмысление виртуализации для AI AGE
Технология виртуализации, которая революционизировала вычисление два десятилетия назад, остается в корне звучной, но мы увидели возможность дать десятилетней технологии подтяжку лица, чтобы удовлетворить требования и пробелы современных вычислений. Повторная технология гипервизора, такую как Xen, на языках, безопасных для памяти, таких как Rust, обеспечивает проверенную боевую безопасность, изоляцию традиционной виртуализации с резкой улучшением производительности и эффективности ресурсов.
Вместо традиционного контейнерного подхода с одним размером, эта модернизированная виртуализация динамически распределяет ресурсы на основе фактических требований рабочей нагрузки искусственного интеллекта, что устраняет проблему чрезмерного выражения, которая мешает стандартной контейнеризации.
Безопасность по дизайну, а не запоздалая мысль
Вместо того, чтобы зажигать безопасность в по себе уязвимые системы, будущая инфраструктура обеспечивает безопасность в фундаменте. Внедряя истинную изоляцию на уровне ядра с помощью модернизированной технологии гипервизора, организации могут с самого начала создавать безопасное многопользовательское обслуживание — критическое требование для обработки рабочих нагрузок искусственного интеллекта.
Производительность без компромисса
Инфраструктура AI следующего поколения не может быть присматривать за штрафами на производительность, возникающие в результате использования сегодняшних решений для создания истинной, безопасной, многопользовательской среды. Объединяя лучшие аспекты производительности с голой металлом с моделями развертывания контейнеров, организации могут создавать системы, которые обеспечивают как скорость, так и удобство. Например, технология Edera, которая не требует аппаратного обеспечения, на 41% быстрее, чем контейнеры Kata-один из немногих альтернативных подходов, ориентированных на оборудование-для реальных рабочих нагрузок.
Эта архитектура поддерживает преимущества развертывания, которые разработчики любят в контейнерах, исключая при этом узкие места производительности, которые делают борьбу рабочих нагрузок искусственного интеллекта в контейнер.
Единое управление, которое упрощает сложность
Наиболее успешный подход к инфраструктуре ИИ легко интегрируется с существующими системами, а не создает изолированные бункеры. Объединив руководство по традиционным и рабочим нагрузкам ИИ, организации могут поддерживать последовательную безопасность, управление и эксплуатационную практику.
Команды платформы получают необходимую им видимость и контроль, в то время как разработчики сохраняют необходимую скорость, которая доказывает, что безопасность и скорость не являются взаимоисключающими, когда инфраструктура разработана правильно.
Путь вперед
Революция ИИ, которую мы испытываем, не появилась из ничего. Я провел свои подростковые годы, узнавая о старых компьютерных парадигмах до того, как они стали модными — погружаясь в гипервизоров, читая о архитектурных решениях, стоящих за XEN и KVM, и изучая принципы проектирования операционной системы 1970 -х и 80 -х годов — и я пришел к выводу, как технологическая история предлагает решения для наших самых активных вызовов.
Когда я впервые столкнулся с виртуализацией с помощью таких проектов, как Xen, меня поразило, насколько элегантно он решил проблемы с обменом ресурсами и изоляцией безопасности, стоящих перед устройствами Edge. Компьютерные ученые, которые разработали эти системы, решали фундаментальные проблемы, которые превосходят конкретные технологические тенденции. Их решения, обновленные для современного аппаратного обеспечения и реализованные на языках, безопасных для памяти, таких как Rust, остаются мощными инструментами для удовлетворения потребностей ИИ в инфраструктуре.
Мы не можем построить твердое будущее, если игнорируем мудрость прошлого. Основы вычислительной безопасности, управления ресурсами и оперативной эффективности были заложены десятилетия назад пионерами, которые должны были сделать каждый цикл ЦП и количество байтов памяти. Их уроки сейчас более актуальны, чем когда -либо, поскольку мы строим системы, которые потребляют беспрецедентные вычислительные ресурсы.
Организации, которые будут переживать в эпоху ИИ, не обязательно будут организациями с крупнейшими инвестициями в инфраструктуру или самыми модными технологическими стеками. Лидерами будут те, кто признает, что оглядывание назад иногда является лучшим способом двигаться вперед, адаптируя проверенные временем принципы, используя конкретные потребности современных рабочих нагрузок искусственного интеллекта.
Как человек, который изучал как триумфы, так и неудачи прошлого вычислений, я убежден, что наш лучший путь включает в себя вдумчивое применение вчерашней мудрости к завтрашним задачам. Уроки есть для тех из нас, кто хочет их изучить.
Edera Reimagines Container Container, обеспечивая оптимизацию ресурсов для рабочих нагрузок без нарушения рабочих процессов разработчика. Мы перепроектировали основную архитектуру: решение с аппаратного обеспечения, а не программное обеспечение. Наш подход соединяет разрыв между тем, как контейнеры отправляются и как они должны работать. Узнайте больше последних из Edera Trending Stories youtube.com/thenewstack Tech Moving быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Алекс Зенла стал соучредителем Edera в апреле 2024 года, чтобы изменить способ запуска и защиты программного обеспечения и моделей искусственного интеллекта. Только 25 лет она начала изучать гипервизоры и технологии аппаратного обеспечения в 7, участвовала в системах низкого уровня и … Подробнее от Alex Zenla
