На пороге открытий: ЦЕРН выделил эксабайт данных для изучения Вселенной

ЦЕРН (CERN), ведущий европейский научный центр, расширил свою систему хранения данных до более чем 1 млн. терабайт (ТБ) в общем объеме в преддверии нового раунда экспериментов по столкновению ионов. Теперь общий объем хранения данных превышает эксабайт (EB), большая часть которого располагается на жестких дисках, хотя доля использования флеш-накопителей также растет.

В ЦЕРН объяснили , что увеличение емкости — это одно, но важно также иметь возможность своевременного доступа к данным. Благодаря обновлению удалось достичь скорости чтения данных в 1ТБ/с, что является значительным достижением по части производительности.

Обновление, добавившее 289 петабайт (ПБ) емкости с прошлого года, было выполнено для поддержки последнего раунда экспериментов с тяжелыми ионами в Большом адронном коллайдере ЦЕРН, длиной 27 километров. Эксперименты включают столкновение тяжелых ионов почти со скоростью света для изучения основных строительных блоков известной вселенной.

Предполагается, что тесты, которые будут проводиться в течение нескольких лет у кольцевого ускорителя частиц возле Женевы, Швейцария, произведут огромное количество данных — более 600 ПБ, которые должны быть обработаны перед тем, как будут отправлены на долгосрочное хранение на магнитных лентах.

Несмотря на то, что петабайт данных может показаться большим объемом, благодаря корпусам высокой емкости для хранения, он не занимает так много физического пространства. Теперь возможно уместить петабайт хранилища в одном корпусе. Однако эксабайт хранения — это совершенно другое дело, требующее рядов стоек, полных полок для дисков.

Система хранения ЦЕРН включает примерно 111 000 устройств, большинство из которых являются жесткими дисками, но с увеличивающимся количеством флеш-накопителей. Системы работают на EOS, платформе с открытым исходным кодом, разработанной ЦЕРН для использования с Большим адронным коллайдером и другими научными задачами.

Увеличение объёмов хранилища с 2010 года

Отметим, что для достижения отметки в 1 эксабайт, понадобится 100 000 дисков емкостью 10 ТБ, но такой массив не был создан в одночасье. Фактически, хранилища емкость выросла в 56 раз по сравнению с первоначальной системой хранения объемом 18 ПБ в 2010 году, а с 2020 года по сегодняшний день емкость системы увеличилась в более 2 раз.

При наличии более 100 000 дисков сбои приводов являются обычным явлением. Ранее ЦЕРН заменял 30 вышедших из строя дисков каждую неделю, что требовало планирования устойчивости с использованием различных методов репликации данных.