Вся инфраструктура — это инфраструктура ИИ

Мирантис спонсировал этот пост. Insight Partners является инвестором в Mirantis и TNS.

В ближайшем будущем вся технологическая инфраструктура будет эффективно быть инфраструктурой ИИ. Это не гипербола. Поскольку предприятия масштабируют их использование генеративных моделей ИИ и автономных агентов, каждый слой технологического стека — от кремния до оркестровки — будет изменен для поддержки рабочих нагрузок ИИ.

Этот переход является еще одним разрушением после перехода от физических данных обработки данных к облачным вычислениям. В течение нескольких лет большие сегменты обычного пространства для применений могут исчезнуть, замененные на AI-управляемые системы и рабочие процессы, разработанные, и, возможно, модифицированные в режиме реального времени, самим ИИ.

Почему ИИ инфраструктура разбивает старую пьесу

История облачных вычислений была определена абстракцией. Виртуализация, контейнеры, API и двигатели оркестровки изготавливали нижние уровни — аппаратные средства, операционные системы — постепенно невидимые.

Рабочие нагрузки ИИ обращают эту тенденцию. Производительность в масштабе зависит непосредственно от аппаратного и ткани внизу. Рабочие нагрузки обучения и вывода тесно связаны с процессорами, графическими процессорами, памятью и сетью. Вместо того, чтобы скрывать сложность, ИИ приносит его на поверхность.

Это создает парадокс: чем более быстрое внедрение ИИ растет, тем больше предприятий должны понимать и оптимизировать свое оборудование и инфраструктуру в тщательных деталях. Обещание «без серверной» простоты исчезает, когда инженеры платформы должны противостоять узлам NUMA (неравномерное доступ к памяти), PCI (периферические компоненты межконтакт) или взаимосвязаны с графическим процессором просто для достижения полезной пропускной способности.

Новая сложность стека

В основе этой трансформации лежит взаимосвязь между процессорами и графическими процессорами. Графические процессоры — это двигатели ИИ, но они не могут работать в изоляции. Противоположностями подачи данных CPU, обрабатывайте предварительную обработку и управление планированием. Во многих случаях рабочие места лучше работают на процессорах как часть скоординированного трубопровода, чем только на графических процессорах. Масштабирование моделей означает организацию этих ресурсов целостно, а не как независимые бункеры.

Сеть одинаково критична. Четыре различных тканя формируют инфраструктуру ИИ: сети данных для потоков восток-запад и север-юг; широкие сети для подключения регионов; PCI взаимодействия между устройствами; и сети RDMA (удаленная прямая память) для кластеров GPU Ultra-Low-Low-Latency. Каждая ткань должна учитываться при создании инфраструктуры ИИ, вплоть до уровня хранения.

Дефицит усугубляет проблему. GPU короткие поставки, но настоящие узкие места простираются до мощности центра обработки данных и физического пространства. Один партнер Mirantis потребляет 100% своего доступного бюджета мощности, занимая только 20% площади своего объекта. Правила проектирования центров обработки данных переписаны в соответствии с требованиями ИИ — большую мощность на стойку, более высокие требования к охлаждению и более длительное время выполнения для оборудования.

Управление и суверенитет

Рабочие нагрузки ИИ представляют проблемы суверенитета, с которыми редко сталкиваются традиционные приложения. Требования к местности данных, юридические и регулирующие контроль, а также трансграничные рамки соответствия, такие как Закон о GDPR или цифровой устойчивость ЕС или цифровой операционной устойчивости (DORA), устанавливают новые ограничения на то, где и как работают модели.

Предприятия должны обеспечить не только доступность и производительность, но и доказуемое управление каждым агентом, моделью и инструментом, которые они развертывают. Суверенитет является одновременно географическим, законным и оперативным. Многопользовательство добавляет еще одно измерение, требующее строгой изоляции между рабочими нагрузками, которые могут охватывать команды, подразделения или даже партнерские организации.

Разработчики и разрыв в абстракции

Разработчики, создающие приложения для искусственного интеллекта, не хотят управлять мелочами межсоединений, тканей и аппаратных трубопроводов.

Решение состоит не в том, чтобы продвигать сложность на разработчиков, а для проектирования платформ, которые скрывают детали инфраструктуры, обеспечивая при этом управление, безопасность и производительность в масштабе.

Строительные блоки инфраструктуры ИИ

ИИ инфраструктура может быть понята как четыре взаимозависимых слоя.

Рабочие нагрузки: Верхний слой-сама рабочая нагрузка-тренировка, тонкая настройка, логирование или оркестровку агента. В то время как крупномасштабные тренировки вызывают тысячи графических процессоров, связанные вместе, тонкая настройка или вывод из малой модели может потребовать только горстки. Гибкость для обработки обеих крайностей имеет важное значение.

Опыт разработчика: Следующим является слой юзабилити. Разработчики требуют последовательности: модели должны работать с предсказуемой производительностью без чрезмерной ручной настройки. Они нуждаются в доступе к учебным ресурсам, средам вывода и возможностям разбиения графических процессоров, поскольку более старые устройства достигают конца жизни. Этот слой-это то, где порталы самообслуживания, API и каталоги делают ИИ доступным между организациями.

Инфраструктура как услуга: Под рабочими нагрузками и опытом находится необработанная инфраструктура, локальная, в облаке или на грани.

Управление и наблюдение: Фондом является плоскость управления, слой, который обеспечивает, контролирует и оптимизирует все над ним. Он должен отделить контроль от данных, чтобы сбои в управлении не нарушали рабочие нагрузки. Он должен обеспечить повторяемость через шаблоны, наблюдения на каждом слое и гибкость, чтобы поменять поставщиков, каркасы или ткани по мере необходимости. Вот где предприятия выигрывают или проигрывают суверенитет.

Стратегические императивы для платформ

Какие принципы должны направлять следующее поколение платформ инфраструктуры ИИ? Несколько императивов выделяются.

• Управляемость: Платформы не могут быть вручную и хрупкой. Они должны поддерживать полные улучшения жизненного цикла и постоянное улучшение с течением времени.
• Наблюдаемость: Каждый слой — от использования графических процессоров до отклика приложения — должен быть инструмент. Производительность не является обязательной; Это трудное требование.
• Гибкость: Предприятия должны сохранить возможность изменять слои стека по мере развития поставщиков, избегая блокировки. Инфраструктура должна адаптироваться без оптового переписывания.
• Повторяемость: Шаблоны и декларативные закономерности отражают известные архитектуры, уменьшая сложность и устраняя потраченное впустую переосмысление.
• Компания без границ: Ресурсы должны быть местными и полезными для центра обработки данных, облачных и краев, защищенных и наблюдаемых, где бы они ни работали.
• Контракты на ресурсы: Вместо того, чтобы абстрагировать оборудование, рабочие нагрузки должны объявлять требования к производительности и получать гарантированные контракты. Это переворачивает абстракцию в гарантии: приложения запрашивают то, что им нужно, и инфраструктура отвечает предсказуемо.

Эти императивы в совокупности определяют, какая стратегическая открытая инфраструктура должна стать: композиционная, наблюдаемая и отзывчивая к реалиям рабочих нагрузок ИИ.

Открытый исходный код как путь вперед

Быстрое время для стоимости является критическим бизнесом. Предприятия, которые инвестируют в инфраструктуру искусственного интеллекта, не могут позволить себе ждать месяцев прибыли. Стеки поставщиков обещают целесообразность, объединив все в закрытую экосистему. Но это целесообразность составляет стоимость: инновации закрыты дорожной картой продавца, а гибкость приносится в жертву.

Подход с открытым исходным кодом предлагает альтернативу. Компонируемая инфраструктура, основанная на декларативных моделях, гарантирует, что платформы развиваются с экосистемой. Шаблоны обеспечивают повторяемость. Контракты предоставляют гарантии. Комплекты без границ позволяют найти ресурсы и защищены везде, где они существуют. Предприятия контролируют свои собственные судьбы, а не ожидают адаптации монолитных платформ.

Это видение, направляющее Mirantis, когда мы строили K0Rdent, платформу с открытым исходным кодом, разработанную с нуля для поддержки рабочих нагрузок искусственного интеллекта. K0rdent-это многократный, многократный и обнаженный металл. Он использует основанное на схеме решение для обеспечения декларативной оркестровки инфраструктуры ИИ. И он позиционирует предприятия, чтобы перейти от смутных абстракций к явным контрактам на производительность. Таким образом, это позволяет организациям запускать рабочие нагрузки там, где они хотят, как они хотят, с полной наблюдением и суверенитетом.

Заключение

Вся инфраструктура становится инфраструктурой ИИ. Сдвиг будет таким же драматичным, как рост облака, но более сложный, более ограниченный ресурс и более чувствительный к суверенитету. Предприятия, которые преуспевают, будут использовать управляемость, наблюдение, гибкость и открытость. Они будут проектировать для нехватки и суверенитета. И они примут платформы, которые предоставляют контракты на производительность, а не иллюзии абстракции.

ИИ не будет ждать стабилизации отрасли. Организации должны сейчас решить, следует ли записаться в закрытые экосистемы или использовать стратегическую открытую инфраструктуру. Мы считаем, что выбор ясен: будущее принадлежит тем, кто может безопасно использовать ИИ в масштабе в масштабе, на инфраструктуре, которую они контролируют.

Mirantis помогает организациям достичь цифрового самоопределения, предоставляя им полный контроль над своей стратегической инфраструктурой. Компания объединяет интеллектуальную автоматизацию и облачный опыт для управления и эксплуатации виртуальных машин. Insight Partners является инвестором в Mirantis и TNS. Узнайте больше последних из Mirantis Trending Stories youtube.com/thenewstack Tech Moving быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Шон О’Мира, глобальный технический директор Mirantis, работал с клиентами, проектирующими и создавая инфраструктуру предприятия в течение 20 лет. Узнайте больше от Shaun O’Meara