Что под капотом у VK Cloud: три подхода к дисковым хранилищам и их ограничения
Большинство пользователей облака не задумываются, где и как физически хранятся их данные. Но с точки зрения архитектора или инженера по инфраструктуре это ключевой вопрос, особенно если критичны производительность, отказоустойчивость и масштабируемость.
Команда VK Cloud рассказала, как устроены ее дисковые хранилища и почему универсального решения до сих пор нет.
🔹 Локальный диск
Самый простой вариант — диск прямо на сервере виртуализации, на RAID. Дает до 75 000 IOPS на чтение, до 50 000 на запись. Но плохо масштабируется: VM жестко привязана к хосту, миграция медленная, потери доступа — реальны.
🔹 Ceph (SDS)
Классика для распределенного хранения: «нарезка» на объекты и репликация по мастеру. Позволяет безболезненно переносить ВМ и держит доступность. Но производительность ниже, настройка сложнее, а ребаланс при масштабировании непредсказуем.
🔹 High-IOPS
Компромисс между локальными дисками и Ceph. Диски на NVME/SSD, подключены к одному хосту, с мастером и слейвом. Чтение — до 45 000 IOPS, запись — до 30 000. Масштабируется горизонтально, но требует резервных объемов и ребалансов при расширении. Управляется просто.
🔹 Есть ли серебряная пуля?
Нет. Зато есть эксперименты с аллокацией в начале жизненного цикла, альтернативной репликацией (клиент — источник правды), и новыми технологиями: io_uring, RDMA, vhost-user-blk, Zerocopy. Пока они сложные и нишевые, но могут лечь в основу следующих поколений SDS.
VK Cloud использует все три подхода и дает клиентам возможность выбирать нужную архитектуру под задачу. Это не серебряная пуля, но это честный инженерный выбор: понимать плюсы, минусы и строить хранилище под конкретный проект, а не под маркетинговый слайд.
@digitize_IT — мнения и управленческий опыт ИТ-лидеров
#vkcloud
Большинство пользователей облака не задумываются, где и как физически хранятся их данные. Но с точки зрения архитектора или инженера по инфраструктуре это ключевой вопрос, особенно если критичны производительность, отказоустойчивость и масштабируемость.
Команда VK Cloud рассказала, как устроены ее дисковые хранилища и почему универсального решения до сих пор нет.
🔹 Локальный диск
Самый простой вариант — диск прямо на сервере виртуализации, на RAID. Дает до 75 000 IOPS на чтение, до 50 000 на запись. Но плохо масштабируется: VM жестко привязана к хосту, миграция медленная, потери доступа — реальны.
🔹 Ceph (SDS)
Классика для распределенного хранения: «нарезка» на объекты и репликация по мастеру. Позволяет безболезненно переносить ВМ и держит доступность. Но производительность ниже, настройка сложнее, а ребаланс при масштабировании непредсказуем.
🔹 High-IOPS
Компромисс между локальными дисками и Ceph. Диски на NVME/SSD, подключены к одному хосту, с мастером и слейвом. Чтение — до 45 000 IOPS, запись — до 30 000. Масштабируется горизонтально, но требует резервных объемов и ребалансов при расширении. Управляется просто.
🔹 Есть ли серебряная пуля?
Нет. Зато есть эксперименты с аллокацией в начале жизненного цикла, альтернативной репликацией (клиент — источник правды), и новыми технологиями: io_uring, RDMA, vhost-user-blk, Zerocopy. Пока они сложные и нишевые, но могут лечь в основу следующих поколений SDS.
VK Cloud использует все три подхода и дает клиентам возможность выбирать нужную архитектуру под задачу. Это не серебряная пуля, но это честный инженерный выбор: понимать плюсы, минусы и строить хранилище под конкретный проект, а не под маркетинговый слайд.
@digitize_IT — мнения и управленческий опыт ИТ-лидеров
#vkcloud