Компания Lightbits спонсировала этот пост.
Эпоха искусственного интеллекта требует простой инфраструктурной стратегии, в которой приоритет отдается масштабируемости, производительности и экономической эффективности при управлении конвейерами данных искусственного интеллекта. Ключевой задачей является поддержка обучения на основе больших языковых моделей (LLM), для чего требуются огромные объемы данных, вычислительных ресурсов и ресурсов хранения. Эффективное обучение зависит от непрерывной подачи больших наборов данных и хранения параметров модели, промежуточных результатов и контрольных точек. Прежде всего, инфраструктурная стратегия должна гарантировать, что ресурсы ИИ будут масштабируемыми, надежными и экономически эффективными.
Масштабирование инфраструктуры обучения искусственному интеллекту
По мере роста моделей растут и требования к хранилищам ИИ, что делает эффективное управление данными крайне важным на протяжении всего процесса обучения. Обучение ИИ, особенно для больших моделей, предполагает распределение рабочей нагрузки между несколькими узлами для ускорения процесса, требующего доступа к одному и тому же набору данных. Многие организации используют параллельные файловые системы для распределения данных по узлам хранения. Однако такой подход может привести к разрастанию инфраструктуры, увеличению затрат и сложности эксплуатации — проблемам, которые напрямую затрагивают команды DevOps.
Блочное хранилище с несколькими подключениями: простое решение
Более оптимизированное и экономически эффективное решение предполагает использование локальной файловой системы, установленной на нескольких узлах как доступной только для чтения. Это достигается за счет хранения набора данных в высокопроизводительной блочной системе хранения с возможностью множественного подключения. Том блочного хранилища подключается к нескольким узлам одновременно и монтируется как локальная файловая система в режиме только для чтения.
Преимущества:
- Уменьшает сложность управления большими распределенными файловыми системами.
- Легко масштабируйте емкость и производительность хранилища, используя возможности блочного хранилища с несколькими подключениями.
- Оптимизирует использование ресурсов и снижает затраты на инфраструктуру.
- Включает практику «Инфраструктура как код» для предоставления ресурсов хранения и управления ими.
Этот подход обеспечивает более масштабируемый и эффективный метод управления хранилищем данных для обучения ИИ, соответствующий требованиям современной инфраструктуры и принципам DevOps.
Вывод: следующий рубеж
Хотя обучение ИИ часто централизовано, логический вывод часто применяется в различных средах. Современный вывод включает в себя сложные многоэтапные процессы, увеличивающие потребность в памяти, вычислениях и быстром доступе к данным.
Проблемы вывода:
- Для масштабного развертывания и управления логическими выводами требуется надежная инфраструктура, способная справляться с меняющимися рабочими нагрузками и требованиями с низкой задержкой.
- Крайне важно найти баланс между производительностью и экономической эффективностью, избегая избыточного выделения ресурсов и одновременно удовлетворяя потребности в реальном времени.
- Рабочие нагрузки вывода часто непредсказуемы и требуют автоматизации и мониторинга для обработки всплесков спроса.
Кэширование ключей и оптимизация хранилища
Вывод с помощью LLM в значительной степени зависит от кэшей «ключ-значение» (KV) для хранения промежуточных результатов, сокращая избыточные вычисления и повышая эффективность использования ресурсов. Однако хранение кэшей KV в памяти графического процессора или хоста имеет ограничения по емкости и масштабируемости.
Решения для хранения данных для масштабируемого вывода
Чтобы преодолеть эти ограничения, необходимо расширить кэш-память KV до высокопроизводительных решений хранения.
- Флэш-память NVMe: предлагает экономичный уровень высокой емкости для кэш-памяти KV, облегчающий ограничения на графический процессор и память. Команды, занимающиеся инфраструктурой, могут использовать NVMe over TCP, то есть NVME поверх стандартного Ethernet, для создания масштабируемой и высокопроизводительной инфраструктуры вывода.
- Дезагрегированная архитектура кэша KV. Распределение кэша KV по флэш-памяти NVMe и обеспечение доступа к нему с любого сервера графического процессора имеет решающее значение для оптимальной производительности.
- Многоуровневое кэширование. Ключевое значение имеет интеллектуальное управление иерархиями кэша в оперативной памяти графического процессора, оперативной памяти хоста, локальных твердотельных накопителях и дезагрегированных твердотельных накопителях.
LLM Дистилляция и эффективное внедрение
Дистилляция LLM, которая предполагает создание меньших по размеру и более быстрых моделей, является важной тенденцией для эффективного внедрения. Выгрузка кэша KV в удаленное хранилище может еще больше освободить локальную память, позволяя очищенным моделям обрабатывать более длинные контексты и более эффективно масштабироваться. Это особенно актуально для инфраструктурных команд, развертывающих ИИ на периферии или в облачных средах с ограниченными ресурсами.
Сосредоточив внимание на этих стратегиях оптимизации хранилища и приняв практики DevOps, организации могут создать масштабируемую, экономичную и энергоэффективную инфраструктуру искусственного интеллекта для поддержки рабочих нагрузок как по обучению, так и по выводам.
Если вам интересно узнать больше об оптимизации инфраструктуры для рабочих нагрузок ИИ и машинного обучения, прочитайте наш блог «Хватит тратить деньги на хранилище ИИ: более разумный и экономичный подход».
Программно-определяемое блочное хранилище Lightbits предлагает лучшее соотношение цены и производительности для рабочих нагрузок, чувствительных к производительности. Компания Lightbits, изобретатель NVMe/TCP, используется финансовыми организациями, биотехнологиями, электронной коммерцией, а также CSP и MSP для создания высокопроизводительной, масштабируемой, отказоустойчивой и экономичной облачной инфраструктуры в любом масштабе. Узнайте больше Последние новости от Lightbits ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Кэрол Платц имеет более чем 25-летний опыт пропаганды технологий и лидерства в области маркетинга высокопроизводительных решений для хранения данных на посту вице-президента по маркетингу в Lightbits. До прихода в компанию она руководила маркетингом таких стартапов в сфере хранения данных, как WekaIO,… Подробнее от Кэрол Платц.
