Google Cloud теперь предлагает полностью управляемую версию параллельной файловой системы Luster. Сервис Google Cloud Managed Luster начал жить («Общая доступность») во всем мире 8 июля.
Высокопроизводительная файловая система с открытым исходным кодом, Luster уже давно используется в системах высокопроизводительных вычислительных (или суперкомпьютерных) для крупномасштабных работ, таких как моделирование погоды.
Google представляет свое блеск, представляющее в качестве более низко-гоночного способа запуска этих суперкомпьютерных заданий. И способность Luster транслировать данные в диапазоне терабайт в секунду также должна сделать их привлекательными для крупномасштабных заданий искусственного интеллекта. Эти голодные графические процессоры нуждаются в кормлении; Вы не можете добраться до искусственного общего интеллекта без большого количества данных.
Эта услуга предлагает пропускную способность прочитать 1 ТБ/с на пространство имен, с менее чем миллисекундой задержки.
Развертывания могут начинаться с 18tib — Tebibyte составляет 2 до 40 -го байта (или очень приблизительно 1 ТБ) — и может масштабировать до 8 пиб или более.
С помощью этого выпуска Google Cloud встретилась с другими облачными поставщиками в предложении облачного блеска. Он конкурирует с Azure Managed Luster, Amazon FSX Amazon FSX и хранилищем файлов Oracle с Luster.
Но эта услуга поставляется с некоторым специальным соусом: он в значительной степени полагается на Exascaler, блестящее развертывание, оптимизированное для пропускной способности и масштабируемости, благодаря партнерству с DDN.
«Интегрируя платформы данных корпоративного класса DDN и глобальные облачные возможности Google, организации могут легко получить доступ к огромным объемам данных и раскрыть весь потенциал ИИ»,-предложил в заявлении директор Nvidia по ускоренным вычислительным продуктам Dave Salvator.
Другими словами, Luster может помочь занять эти графические процессоры Nvidia.
Блеск
Созданный исследователем Карнеги -Меллона Питером Дж. Браамом в 1999 году специально для систем HPC, Luster удовлетворял потребности суперкомпьютинг в чрезвычайно высокой пропускной способности. В то время традиционные сетевые файловые системы, такие как NFS, испытывали трудности с масштабированием до уровней, необходимых для HPC.
Luster является параллельной файловой системой: сами файлы находятся на нескольких серверах для более быстрого доступа, и каждый сервер может доставлять свои биты одновременно.
Метаданные для каждого файла (местоположения файлов, разрешения, иерархии каталогов и т. Д.) Сохраняются отдельно на сервере метаданных, который также управляет операциями файловой системы, такими как создание и удаление файлов и исключение узких мест ввода -вывода на уровне сервера.
Сколько это стоит?
Служба Luster’s Luster доступна как четыре различных уровня пропускной способности: 125 Мбит/с, 250 мб/с, 500 мб/с и 1000 МБ/с для каждого туберкулеза данных. Каждое пространство имен может быть до 1 часа дня.
Управляемый экземпляр Luster выставлен с счет с шагом на 1 секунду, основываясь на предоставленной емкости экземпляра. Например, хранение гибибита на уровне 125 МБ/с будет стоить 0,145 доллара в месяц.
Есть целая страница, посвященная ценам:
Образец управляемого списка ценообразования (Google).
Управляемый блеск изначально интегрируется с другими облачными сервисами Google, такими как Google Cloud Compute Engine, Google Kubernetes Engine (GKE), IAM, VPC Service Controls и платформа Vertex AI Google Cloud.
Стек Google HPC
В Google в следующем 25, Wyatt Gorman, Google Solutions Manager для HPC и AI Infrastructure, дополнительно обсудил предложение управляемого блеска.
Google настроил сервис, чтобы держать «пространство царапин как можно ближе к вычислению», — сказал он.
Управляемое предложение Luster обеспечивает постоянное пространство царапин, хотя на конференции Горман также рассказал о Parallelstore, дополнительной службе, созданном на проекте DAOS с открытым исходным кодом, который обеспечит суперскоростное непрерывное пространство царапин.
Идеальный стек Google HPC также будет включать в себя VMS H4D CPU (в настоящее время в предварительном просмотре), которые построены на процессорах EPYC AMD и с поддержкой RDMA, а также кластером Terraform Cluster Toolkit для повторяющихся развертываний.
Для получения дополнительной информации о Google HPC Stack, посмотрите всю презентацию Google Next HPC.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Joab Jackson является старшим редактором нового стека, охватывающего облачные нативные вычисления и системы системы. Он сообщил об инфраструктуре и развитии IT более 25 лет, в том числе в IDG и государственных компьютерных новостях. До этого он … читал больше от Джоаба Джексона
