Компания Lightbits спонсировала этот пост.
Хотя не существует единой модели архитектуры хранения, подходящей для всех баз данных NoSQL, часто рекомендуемым подходом является распределенная архитектура без общего доступа с использованием локального хранилища (часто на основе флэш-памяти) на каждом узле.
На уровне аппаратного обеспечения хранения примером архитектуры без общего доступа может быть хранилище с прямым подключением (DAS). Эта модель обеспечивает желаемую высокую производительность, низкую задержку, отказоустойчивость и доступность, необходимые для критически важных для бизнеса баз данных NoSQL, таких как Cassandra и MongoDB.
Несмотря на то, что DAS предлагает значительные преимущества, он контрпродуктивен в сегодняшней обстановке в центрах обработки данных, связанной со снижением капитальных затрат, эксплуатационных расходов и инициатив по устойчивому развитию. В то же время в DAS отсутствуют критически важные сервисы передачи данных, присущие общей сетевой системе хранения, такие как сети хранения данных (SAN).
Однако с сегодняшними решениями SAN вы также можете получить свой пирог и съесть его: эффективность, услуги передачи данных, отказоустойчивость и, да, высокая производительность и низкая задержка. Модернизация вашей платформы данных до модели SAN с использованием поставщика с дезагрегированной программно-определяемой архитектурой может обеспечить производительность и отказоустойчивость, необходимые вашей базе данных NoSQL, без ущерба для эффективности.
Почему Shared-Nothing является общим для NoSQL
DAS является распространенной моделью для рабочих нагрузок, чувствительных к производительности, таких как базы данных NoSQL, поскольку исторически локальная флэш-память, особенно хранилище энергонезависимой памяти Express (NVMe), предлагало значительно меньшую задержку и более высокий IOPS (более быстрые операции чтения/записи), чем традиционное общее хранилище, такое как SAN или NAS, доступ к которому осуществляется по сети. Подробнее об этом позже.
Большинство баз данных NoSQL разработаны с учетом горизонтальной масштабируемости и архитектуры без общего доступа, где каждый узел независим и управляет своими данными, что делает масштабирование намного проще и эффективнее.
Кроме того, некоторые базы данных NoSQL специально разработаны для распределенных систем без общего доступа. Например, в Cassandra каждый узел кластера отвечает за подмножество данных и использует для хранения свой локальный диск. И хотя для MongoDB существуют гибкие возможности развертывания, он тесно связан с DAS благодаря своему набору реплик и архитектуре сегментирования. Когда данные секционированы и репликация реализована на нескольких узлах, устойчивость повышается. При выходе из строя одного узла временно недоступной становится только часть данных, и система может продолжать работу, используя реплики на других узлах. Высокая отказоустойчивость является требованием для критически важных для бизнеса рабочих нагрузок баз данных.
Компромиссы архитектуры без общего доступа
Хотя DAS предлагает значительные преимущества, он сопряжен с компромиссами и компромиссами, которые контрпродуктивны для современных инициатив в области центров обработки данных: сокращение разрастания центров обработки данных и энергопотребления, сокращение операционных накладных расходов, экономически эффективное управление экспоненциальным ростом данных в масштабе, поддержка принципов корпоративной устойчивости и многие другие.
По сути, поскольку в модели DAS каждый узел имеет собственное выделенное хранилище, для этого требуется больше оборудования. Аппаратные ресурсы часто выделяются в избытке для удовлетворения непредсказуемого спроса, что приводит к снижению использования ресурсов и нехватке ресурсов. Недоиспользование ресурсов хранения в средах DAS может быть значительным и потенциально составлять от 30% до 70% (а в некоторых случаях даже выше).
Фото: Lightbit Labs.
В масштабе бремя CapEx и OpEx модели DAS может раздуть ИТ-бюджет. Управление хранилищем на потенциально большом количестве независимых узлов может увеличить накладные расходы на управление. Мониторинг, обновления и планирование мощности должны выполняться на отдельных узлах.
Как будто раздутые ИТ-бюджеты не были достаточно болезненными, самой большой неприятностью для тех, кто внедряет модели DAS, является принесение в жертву возможностей управления данными, распространенных на платформах SAN. Расширенные службы управления данными (сжатие, тонкое предоставление, моментальные снимки, дедупликация, многоуровневое распределение, клонирование, репликация) по своей сути недоступны на уровне хранения в модели без общего доступа. В модели DAS функциональность должна быть на уровне приложения, если она вообще доступна.
Новая парадигма хранения данных для NoSQL
Учитывая динамику бюджетных ограничений CapEx и OpEx, а также инициативы по устойчивому развитию и необходимость сокращения разрастания центров обработки данных, преобладающего сегодня, наблюдается сдвиг в сторону общих платформ хранения данных, таких как SAN, которые могут более чем адекватно заменить архитектуру без общего доступа для высокопроизводительных рабочих нагрузок NoSQL. Современные системы SAN могут достичь производительности, сравнимой с локальными NVMe, и поддерживать требовательные рабочие нагрузки NoSQL.
«Вишенкой на торте» современной сети SAN, способной достичь производительности, эквивалентной локальной флэш-памяти, является технология высокоскоростного соединения. Забудьте о Fibre Channel (FC) SAN и iSCSI. Сеть SAN, разработанная с использованием NVMe over Fabrics (NVMe-oF), расширит преимущества производительности флэш-памяти NVMe по сетевой структуре, значительно сократив задержку и увеличив пропускную способность по сравнению с традиционными блочными протоколами, такими как iSCSI. Это позволяет приложениям NoSQL получать доступ к общему хранилищу с производительностью, намного более близкой к локальной флэш-памяти, сводя на нет ключевое преимущество DAS.
NVMe over TCP (NVMe/TCP), как подмножество NVMe-oF, сочетает в себе высокую производительность NVMe с повсеместностью и экономичностью стандартных сетей Ethernet, использующих TCP в качестве транспортного уровня. В отличие от FC, NVMe/TCP работает через повсеместную и экономичную инфраструктуру Ethernet. Эта модель архитектуры обеспечивает сверхнизкую задержку и высокую пропускную способность без специального оборудования или собственных драйверов.
Многие организации выводят свои инициативы по модернизации на новый уровень, комбинируя NVMe/TCP с дезагрегированными и программно-определяемыми системами. Модель устраняет разрыв между производительностью локального хранилища и эффективностью использования ресурсов. Дезагрегированная программно-определяемая архитектура хранения данных с NVMe/TCP в качестве транспортного протокола отвечает всем требованиям для поддержки высокопроизводительных рабочих нагрузок NoSQL в масштабе: снижение капитальных и эксплуатационных затрат, сокращение разрастания центров обработки данных и поддержка инициатив по устойчивому развитию, отказоустойчивость, высокая производительность и эффективность. В то же время эти организации снизили свои бизнес-риски, уменьшив зависимость от фирменного оборудования и сложных цепочек поставок.
Кредит: Лаборатории Lightbits
Подведение итогов
Хотя распределенная архитектура без общего доступа с DAS исторически была рекомендацией для требовательных баз данных NoSQL из-за преимуществ в производительности, технология хранения изменилась и теперь предлагает современные решения с большими преимуществами для бизнеса.
Для небольших кластеров DAS может быть достаточно, но в масштабе он становится обременительным с операционной и экономической точки зрения. Если в вашей организации существует необходимость оптимизировать затраты на центры обработки данных, повысить устойчивость и упростить операции, вам следует пересмотреть свою модель DAS без общего доступа.
Современные решения SAN, специально разработанные для дезагрегированной программно-определяемой архитектуры и высокоскоростных межсоединений, таких как NVMe/TCP, предлагают привлекательную альтернативу. Они эффективно устраняют разрыв в производительности, одновременно предоставляя важнейшие услуги передачи данных и эффективность, которых по своей сути не хватает DAS.
Приняв эту современную парадигму хранения, организации действительно могут получить свой пирог и съесть его, добившись высокой производительности и низкой задержки, которые необходимы их критически важным для бизнеса базам данных NoSQL, не жертвуя при этом экономическими и эксплуатационными преимуществами общей инфраструктуры хранения.
Переход от модели без совместного использования к общей, дезагрегированной и программно-определяемой модели не только поддержит ваши рабочие нагрузки NoSQL сегодня, но также обеспечит инфраструктуру данных, отвечающую требованиям будущего, для дальнейшего роста, масштабирования и удовлетворения требований приложений.
Чтобы узнать больше о поддержке рабочих нагрузок NoSQL с использованием современной сети SAN с NVMe-oF, прочитайте мою публикацию в блоге «Хранилище NVMe: руководство для начинающих по молниеносному доступу к данным».
Программно-определяемое блочное хранилище Lightbits предлагает лучшее соотношение цены и производительности для рабочих нагрузок, чувствительных к производительности. Компания Lightbits, изобретатель NVMe/TCP, используется финансовыми организациями, биотехнологиями, электронной коммерцией, а также CSP и MSP для создания высокопроизводительной, масштабируемой, отказоустойчивой и экономичной облачной инфраструктуры в любом масштабе. Узнайте больше Последние новости от Lightbits ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Кэрол Платц имеет более чем 25-летний опыт пропаганды технологий и лидерства в области маркетинга высокопроизводительных решений для хранения данных на посту вице-президента по маркетингу в Lightbits. До прихода в компанию она руководила маркетингом таких стартапов в сфере хранения данных, как WekaIO,… Подробнее от Кэрол Платц.
