Петабайтные SSD ломают RAID: симуляция VAST

Петабайтные SSD ломают RAID: симуляция VAST

VAST Data показала на SC26: SSD на петабайты делают классический RAID опасным. Симуляция на 900 ПБ выявила риск потери данных 1 к 11 за десять лет.

VAST Data утверждает: SSD ёмкостью в петабайт ломают привычную логику RAID в современных параллельных файловых системах. Симуляция системы на 900 ПБ даёт вероятность потери данных 1 к 11 за десять лет. Для сравнения: та же система на дисках по 15 ТБ съела бы около 5,6 МВт вместо 400 кВт.

Речь о симуляции собственной системы VAST на 900 ПБ — компания показала её на Supercomputing 2026 (SC26) и объяснила, как всё устроено.

Чем крупнее диск, тем дольше он восстанавливается после отказа. А значит, остаётся больше времени на следующий отказ — и на потерю данных. Но операторы всё равно хотят большие диски: многие площадки упираются в лимит по мощности, а энергопотребление хранилища растёт с пропускной способностью, а не с ёмкостью. Что предлагает VAST? Общесистемное стирающее кодирование (erasure coding) минимум с тремя полосами чётности.

Что показала симуляция

Главный технический стратег VAST Гленн Локвуд (Glenn Lockwood) прогнал «дискретно-событийную симуляцию» (discrete event simulation) на реальных данных об отказах. Доклад прозвучал на Exhibitor Forum в рамках сессии HPC System Hardware and Architecture на SC26.

Если перейти на SSD петабайтного масштаба, локальный для корпуса декластеризованный RAID — подход DDN EXAScaler и HPE Cray ClusterStor — даёт исключительно высокие шансы потерять данные. Глобальная декластеризация плюс дополнительная чётность снижает их до 1 к 54 миллионам: серьёзный прогресс. Но собственная схема VAST выходит примерно на 1 к 62 миллиардам — на три порядка лучше.

Почему мощность решает

Аргумент Локвуда про SSD петабайтного масштаба строится на том, как масштабируется энергопотребление хранилища. Примерно 28 Вт на SSD — независимо от ёмкости и с учётом его доли в окружающей инфраструктуре. Плюс 20 Вт на каждый ГБ/с пропускной способности.

Чтобы набрать 900 ПБ флеш-памяти из дисков по 15 ТБ, понадобится больше 63 тыс. Штук. Каждый добавляет свою пропускную способность — в сумме 190 ТБ/с при 5,6 МВт. Это, по словам Локвуда, «эквивалент примерно 3100 GPU Blackwell Ultra». Правда, тут же оговаривается: «реальные ИИ-приложения в нашем опыте никогда не приближались к потребности в чём-либо близком к такому уровню производительности» от хранилища.

Другое дело — диски по 122 ТБ. Почти 8 тыс. Штук, совокупная пропускная способность всего 8 ТБ/с, энергопотребление — меньше одной десятой от прошлого варианта, около 400 кВт. В таком бюджете SSD по 15 ТБ упираются в потолок примерно 250 ПБ — и это даже без запаса мощности на производительность. Эти ватты лучше отдать вычислениям. К тому же диски класса 245 ТБ уже появляются, а следом ждут куда более крупные.

У больших дисков есть цена

Но всё — это серия компромиссов. Локвуд признаёт обычную реакцию на диск ёмкостью 245 ТБ: «большой радиус поражения». Один отказ оставляет восстанавливать гораздо больше данных. И времени уходит больше: при одинаковой скорости на диск модель на 122 ТБ восстанавливается вдвое дольше, чем на 60 ТБ. Окно, в котором второй отказ в традиционном наборе RAID 5 приводит к потере данных, растягивается.

Ёмкость на диск потенциально обгоняет рост пропускной способности. И как минимум в пределах поколения «производительность каждого отдельного диска не меняется» — с этим либо мирятся, либо преодолевают.

В симуляции — 7920 SSD по 122 ТБ в 180 корпусах по 44 диска. Для RAID 5 с одинарной чётностью вероятность потери данных за десять лет — 100%. Но «одинарную чётность больше никто не использует». Двойная чётность всё ещё даёт 1 к 150 за десятилетие — и это, по словам Локвуда, «передовой рубеж для многих файловых систем с открытым исходным кодом». Он прямо называет Lustre и BeeGFS.

У проприетарных параллельных файловых систем передовой рубеж другой — декластеризованный RAID внутри корпуса. Он размазывает данные, чётность и запасное пространство каждой группы дисков по большему числу накопителей, чем обычно, и потому восстанавливается быстрее. Пока всё остаётся внутри корпуса, распределение не выходит за пределы одного блока дисков. А вот переход на SSD петабайтного масштаба в такой декластеризации на уровне корпуса и даёт те самые 1 к 11.

Как это у конкурентов

DCR от DDN в одной опубликованной конфигурации использует RAID 6 в массиве 8+2 для пула из 24 NVMe SSD. Восемь полос данных плюс две полосы чётности на страйп: любые два диска в пуле могут отказать без потери данных, а каждый страйп разложен по 10 из 24 накопителей. DDN и раньше признавала, что крупным системам может понадобиться больше, чем DCR.

У HPE декластеризованный RAID называется GridRAID — с чётностью на половину корпуса, то есть два пула по 12 дисков в корпусе на 24 диска.

Perlmutter, суперкомпьютер в Национальном центре научных вычислений по энергетике Национальной лаборатории Беркли (Berkeley Lab), где Локвуд когда-то работал, использовал GridRAID с RAID 6 8+2+1 на цель объектного хранилища из 12 дисков (так Lustre называет единицу хранения). «+1» — это пространство, эквивалентное одному запасному диску, размазанное по всем 12: восстановление пишется на каждый выживший диск, а не на единственную замену. Но защита в любом случае упирается в два отказа в пуле из одного-двух десятков дисков, и помочь с восстановлением могут только эти диски. Именно этот сценарий в симуляции VAST и даёт катастрофическую частоту отказов.

Симулированные VAST шансы потери данных в системе на 900 ПБ за 10 лет
Схема защитыКто её использует, по ЛоквудуСимулируемый размер дискаШансы потери данных за 10 лет
Одинарная чётность (RAID 5)«Больше никто»122 ТБ (сегодняшние диски)100%
Двойная чётностьОткрытые Lustre и BeeGFS, как правило122 ТБ (сегодняшние диски)1 к 150
Декластеризованный RAID внутри корпусаDDN EXAScaler, HPE Cray ClusterStorПетабайтного класса1 к 11
Декластеризованный RAID по всей системе плюс дополнительная чётностьЕго заявленный минимумПетабайтного класса1 к 54 миллионам
Собственная схема VAST (не детализирована)VASTПетабайтного класса1 к 62 миллиардам

Решений несколько, но у каждого есть ограничения. Тройная чётность — ещё одна полоса — снижает шансы потери данных. Глобальная декластеризация сама по себе тоже немного помогает за счёт более быстрого восстановления. Но страйпы разложены по каждому диску в кластере, поэтому два случайных отказа чаще попадают в один и тот же страйп — домен отказа становится больше.

Если применить оба подхода — а это для Локвуда минимальная планка, — шансы падают до уровня «молния в твой день рождения». VAST уже публикует четвёртую чётность, которая выходит за эту планку. А собственная «особая магия» VAST — не раскрытая, но выше минимальной планки — снижает шансы ещё сильнее. Конкретно для SSD петабайтного масштаба, ради чего доклад и затевался.

Метаданные — самое слабое звено

Дальше — метаданные, данные о данных. В этом случае это индекс того, где лежит каждый фрагмент каждого файла. Каждая запись обязательно обновляет его синхронно, поэтому VAST хранит индекс на отдельных быстрых SSD в виде трёх полных копий — репликацией, а не чётностью. Пережить можно два отказа, что меньше четырёх полос чётности данных, и индекс становится самым слабым звеном.

С дисками по 122 ТБ Локвуд оценивает шансы дисков данных как 1 к 78 триллионам за десять лет против 1 к 58 миллионам для метаданных. Для него это наглядно показывает: реальный риск — окружающая инфраструктура, настолько велик разрыв в надёжности между индексом и обычными данными.

Восстановление индекса начинается примерно через 12 секунд после отказа, в среднем, против примерно двух минут для дисков данных. В общем случае, когда диск выходит из строя, процедура VAST — перезагрузить его и надеяться, поэтому перед принудительным восстановлением всегда есть задержка. Для дисков данных с четырьмя полосами чётности она почти не важна, а вот для индекса метаданных с тремя копиями — вполне. Подождать час на дисках данных «не имело бы большого значения», а вот 20 минут и больше на диске метаданных — риск «чрезвычайно высокий».

Что уже продаётся

В мае этого года Micron начала поставки 6600 ION ёмкостью 245 ТБ — до 30 Вт под максимальной нагрузкой. У Kioxia есть LC9, который стоит в сервере Dell 2U с 40 дисками на общий объём 9,8 ПБ. У SanDisk — UltraQLC на 256 ТБ, который должен был появиться в первой половине года, а Solidigm целится примерно в 245 ТБ позднее в этом году.

Тем временем несколько дорожных карт ведут к дискам петабайтного класса: UltraQLC от SanDisk, цель SK hynix по QLC SSD и Samsung — в какое-то время в будущем. Это только усиливает аргументацию VAST. Математика энергопотребления как минимум сходится, но данные всё равно нужно сравнивать открыто и честно — иначе твёрдого вывода о лучшем пути вперёд для явно неизбежной проблемы не сделать.

Шейн Даунинг (Shane Downing) — приглашённый автор Tom’s Hardware, пишет о потребительских накопителях, аппаратном обеспечении ПК и ИИ.

Что говорят читатели

DS426: ZFS даже не упомянули? Понимаю, что это не замена RAID один к одному, но он решает многие проблемы RAID — bit rot, не нужно беспокоиться об отказах аппаратных RAID-контроллеров и так далее. Лично я считаю, что RAID решает проблему из эпохи, из которой мы в значительной степени выросли. В некоторых развёртываниях он всё ещё имеет большой смысл — там, где ZFS не вариант.

Ответ: Я действительно считаю, что нам нужен ментальный сдвиг к будущему программно-определяемых дисков хранения и избыточности данных. В больших масштабах это дало бы гораздо меньше «потраченных впустую» дисков и одновременно снизило шансы потери данных. Аппаратный и традиционный программный RAID всё ещё нашли бы своё применение, но перестали бы быть стандартом де-факто.

Реклама
Здесь будет баннер
Здесь будет рекламный блок
Источник: Tom's Hardware
Telegram:

Читайте также

Протест у офиса Meta в Дели: Конгресс требует вернуть аккаунты
Технологии

Протест у офиса Meta в Дели: Конгресс требует вернуть аккаунты

Сторонники Индийского национального конгресса ворвались в офис Meta в Дели, требуя восстановить заблокированные аккаунты лидеров оппозиции.

22.11.2026 17:31
Шехеразаад выпустила folk-noir альбом Khudgarzi
Технологии

Шехеразаад выпустила folk-noir альбом Khudgarzi

Певица Шехеразаад возвращается с дебютным LP Khudgarzi: традиционные южноазиатские инструменты, западная электроника и голос о судьбе женщин.

22.11.2026 17:31
ESP32 для начинающих: скучные проекты, которые работают годами
Технологии

ESP32 для начинающих: скучные проекты, которые работают годами

Первая ESP32 не требует роботов и голосовых помощников. Метеостанция, монитор растений и датчик движения научат основам и останутся полезными надолго.

22.11.2026 17:31
Как проверить реальную скорость USB-порта: утилиты и тесты
Технологии

Как проверить реальную скорость USB-порта: утилиты и тесты

USB-порты часто не выдают заявленную скорость. Разбираем, как с помощью CrystalDiskMark, AmorphousDiskMark и USBView проверить, что вы получаете.

22.11.2026 17:31