Мы привыкли, что интернет работает круглосуточно. Банковские переводы проходят ночью, фотографии хранятся в облаке, фильмы запускаются за секунды, а нейросети отвечают на вопросы практически мгновенно. За привычными сервисами стоят огромные здания, заполненные компьютерами, кабелями, промышленными кондиционерами и электрическим оборудованием. Такие здания называют дата-центрами, или центрами обработки данных.
Дата-центр, сокращённо ЦОД, представляет собой специально оборудованное помещение, здание или комплекс зданий, где размещают серверы, системы хранения данных и сетевое оборудование. Главная задача ЦОД заключается не просто в размещении компьютеров, а в создании условий для их непрерывной и безопасной работы.
Современный дата-центр больше напоминает промышленное предприятие, чем обычную серверную. Компьютеры занимают только часть инфраструктуры. Остальное пространство и значительная доля инженерных расходов приходятся на электричество, охлаждение, связь, защиту от пожаров и управление оборудованием.
Самая интересная особенность ЦОД заключается в том, что дорогие серверы сами по себе не гарантируют работоспособность интернет-сервисов. Достаточно потерять охлаждение, питание или связь, и вычислительная инфраструктура может стать недоступной, даже если все компьютеры исправны.
Что находится внутри дата-центра
Представим, что пользователь открывает сайт интернет-магазина. Устройство определяет сетевой адрес сервиса, после чего запрос через интернет попадает в инфраструктуру, обслуживающую сайт. В зависимости от архитектуры запрос может сначала пройти через сеть доставки контента или систему защиты, а затем попасть на сервер приложения.
Сервер обрабатывает запрос, получает необходимые сведения из базы данных и отправляет ответ. Если покупатель оформляет заказ, приложение записывает изменения в базу данных. Весь процесс обычно занимает доли секунды, хотя за обработкой могут стоять десятки взаимодействующих компонентов.
Внутри дата-центра оборудование делится на несколько основных групп.
| Компонент | Что находится внутри | Для чего нужен |
|---|---|---|
| Серверы | Процессоры, оперативная память, SSD, сетевые адаптеры, иногда GPU | Выполняют программы, обрабатывают запросы и вычисления |
| Системы хранения | Массивы SSD и HDD, контроллеры, серверы хранения | Хранят базы данных, документы, резервные копии и другие файлы |
| Сетевое оборудование | Коммутаторы, маршрутизаторы, оптические соединения | Соединяет серверы друг с другом и с внешними сетями |
| Электропитание | Распределительные щиты, ИБП, аккумуляторы, генераторы | Обеспечивает работу оборудования при нормальном режиме и авариях |
| Охлаждение | Кондиционеры, теплообменники, насосы, холодильные установки | Отводит тепло, которое выделяют серверы |
| Безопасность и мониторинг | Датчики, камеры, контроль доступа, пожарные системы | Обнаруживает неисправности и защищает инфраструктуру |
Серверные стойки
Основное помещение дата-центра называют машинным или серверным залом. Внутри рядами стоят металлические шкафы со стандартными креплениями для серверного оборудования. Такие шкафы называют серверными стойками.
В одну стойку помещают несколько серверов, сетевых коммутаторов, систем хранения и блоков распределения питания. Количество устройств зависит от высоты стойки, размеров оборудования, допустимой электрической нагрузки и возможностей охлаждения.
Один сервер может обслуживать несколько виртуальных машин, десятки контейнеров или отдельную ресурсоёмкую задачу. Поэтому число физических компьютеров не равно количеству работающих интернет-сервисов.
Например, физический сервер с большим объёмом оперативной памяти и несколькими процессорами можно разделить средствами виртуализации на множество изолированных вычислительных сред. Каждая виртуальная машина получает собственную операционную систему и выделенные ресурсы, хотя всё оборудование находится внутри одного корпуса.
Для хранения больших объёмов информации используют специализированные системы хранения данных, или СХД, а также распределённые программные хранилища. Данные могут размещаться на дисках нескольких серверов, а дополнительные копии позволяют пережить отказ отдельных накопителей или узлов.
Мощные кластеры искусственного интеллекта устроены несколько иначе. Вместо обычных серверов большую часть стойки могут занимать вычислительные узлы с графическими ускорителями. Между ускорителями организуют высокоскоростную сеть, поскольку при обучении крупных моделей требуется постоянно обмениваться значительными объёмами данных.
Как соединены тысячи серверов
Рядом со стойками размещают сетевые коммутаторы. В больших ЦОД часто используют многоуровневую архитектуру, в которой коммутаторы стоек соединены с магистральными коммутаторами через высокоскоростные оптические линии. Распространённый вариант такой организации называют leaf-spine.
Внешние маршрутизаторы связывают дата-центр с операторами связи, другими ЦОД и интернетом. Крупные площадки могут использовать несколько независимых операторов и физически разнесённые кабельные маршруты.
Отдельно могут работать системы балансировки нагрузки, межсетевые экраны, оборудование защиты от сетевых атак и специализированная сеть для управления серверами. Внешний пользователь обычно видит только публичный адрес сервиса, а не внутреннюю архитектуру ЦОД.
Посмотреть часть сетевого маршрута до сайта можно самостоятельно. В Windows откройте командную строку или PowerShell и выполните команды.
nslookup example.com
tracert example.comПервая команда покажет результаты DNS-запроса, вторая попытается отобразить промежуточные сетевые узлы. Однако определить по полученным данным физическое местоположение серверов обычно нельзя. Сайт может использовать CDN, а часть маршрутизаторов не отвечает на диагностические запросы.
Электричество, охлаждение и безопасность. Инженерное сердце ЦОД
Обычный офис можно обесточить на несколько минут без катастрофических последствий. Для дата-центра кратковременный сбой питания способен остановить тысячи вычислительных процессов, оборвать соединения и вызвать длительное восстановление сервисов.
Как устроено электропитание
Электричество поступает в ЦОД из внешней энергосистемы, проходит через трансформаторы, распределительные устройства и другие элементы электрохозяйства. В традиционной схеме критичную нагрузку защищают источники бесперебойного питания, сокращённо ИБП.
ИБП позволяют оборудованию продолжать работу при кратковременных перебоях и обеспечивают переход на резервное питание. Для длительных отключений многие ЦОД используют дизель-генераторные установки, сокращённо ДГУ.
Типичный сценарий выглядит следующим образом. Пропадает внешнее электричество, аккумуляторы ИБП поддерживают критичную нагрузку, система автоматики запускает генераторы и подключает резервный источник. После восстановления основного электроснабжения оборудование возвращают в штатный режим.
Аккумуляторы не предназначены для бесконечного питания серверов. Их запас энергии рассчитывают под конкретную нагрузку, время запуска резервных источников и требования проекта.
Для повышения отказоустойчивости используют независимые цепи распределения питания, часто обозначаемые A и B. Сервер с двумя блоками питания можно подключить к разным цепям. Тогда отключение одной линии не обязательно остановит компьютер, если вторая выдерживает полную нагрузку.
При проектировании применяют несколько схем резервирования. N+1 означает, что к необходимому количеству работающих компонентов добавили как минимум один резервный компонент соответствующей системы. 2N означает наличие двух комплектов, каждый из которых рассчитан на полную требуемую нагрузку.
Но количество генераторов и ИБП ещё не определяет надёжность ЦОД. Две линии могут проходить через общий распределительный щит, а два внешних ввода иногда зависят от одной подстанции. Для настоящей независимости необходимо анализировать всю электрическую цепь, а не только количество установленных устройств.
Существуют и специализированные вычислительные центры, где архитектура питания отличается от традиционной. Например, некоторые крупные GPU-кластеры проектируют с расчётом на восстановление прерванных вычислений вместо полного резервирования каждого элемента питания. Такой подход допустим для отдельных нагрузок, но не универсален для банковских баз данных или транзакционных систем.
Как дата-центр охлаждает серверы
Практически вся электроэнергия, которую потребляют серверы, в конечном счёте превращается в тепло. Если стойки не охлаждать, температура компонентов начнёт расти, оборудование снизит производительность или аварийно отключится.
Поэтому ЦОД оборудуют промышленными системами охлаждения. Обычные схемы используют прецизионные кондиционеры, водяные контуры, холодильные установки, сухие охладители и другие теплообменные устройства.
Главный принцип воздушного охлаждения заключается в разделении холодного и горячего воздуха. Серверы обычно забирают воздух через переднюю панель и выбрасывают нагретый поток назад. Стойки устанавливают так, чтобы их лицевые стороны образовывали холодные коридоры, а задние стороны были обращены к горячим коридорам.
Горячие коридоры часто изолируют перегородками и дверями, уменьшая смешивание воздушных потоков. Охлаждённый воздух подают через систему воздуховодов, подпольное пространство или непосредственно в коридоры. Фальшпол может помогать распределять воздух и прокладывать инженерные коммуникации, но не является обязательным элементом любого современного ЦОД.
Для распространённых классов серверного оборудования ASHRAE рекомендует температуру воздуха на входе в оборудование в диапазоне 18–27 °C. Речь идёт именно о температуре поступающего воздуха, а не о необходимости держать всё помещение при одинаковых 18 °C. Для отдельных классов оборудования и систем охлаждения условия отличаются.
В прохладном климате дата-центры могут использовать фрикулинг, при котором наружный воздух или внешняя охлаждающая среда помогают отводить тепло без постоянной работы компрессорного холодильного оборудования.
С ростом мощности графических ускорителей всё большую роль играет жидкостное охлаждение. Хладагент циркулирует через специальные теплообменные пластины, установленные рядом с процессорами и ускорителями. Тепло передаётся жидкости и затем отводится через теплообменники за пределы серверного оборудования.
Такая система позволяет охлаждать оборудование с высокой плотностью тепловыделения, но требует дополнительных насосов, трубопроводов, контроля протечек и резервирования. Жидкостное охлаждение не означает, что серверы погружают в воду. Погружные системы существуют, но представляют собой отдельную технологию, обычно использующую специальные диэлектрические жидкости.
Есть и экологический компромисс. Одни системы охлаждения расходуют больше электроэнергии, другие используют воду на испарение. Замкнутый жидкостный контур может обходиться без испарительного расхода воды непосредственно на охлаждение, но конкретный баланс ресурсов зависит от всей конструкции ЦОД.
Пожары, физическая защита и мониторинг
В серверном зале размещают датчики температуры, влажности, дыма и протечек. Инженерные системы непрерывно отслеживают состояние охлаждения, электропитания, аккумуляторов, насосов и генераторов.
Для предотвращения и ограничения пожаров используют системы раннего обнаружения дыма, пожарную автоматику и подходящие средства тушения. Конкретная технология зависит от оборудования, конструкции здания и противопожарных требований. Газовое тушение встречается часто, но не является универсальным решением для всех помещений ЦОД.
Физическая безопасность строится по нескольким рубежам. Периметр здания, входные группы, инженерные помещения и серверные залы могут иметь разные уровни доступа. Камеры, электронные пропуска, журналы посещений и охрана помогают контролировать действия персонала и подрядчиков.
Для диспетчеризации инженерного оборудования применяют системы BMS, а для учёта стоек, оборудования, мощности и состояния инфраструктуры используют инструменты DCIM. За доступностью серверов и сетевых сервисов следят системы ИТ-мониторинга и операторы центра эксплуатации.
Описанные принципы относятся к устройству и защите инфраструктуры. Испытывать отключение электропитания, сетевых линий или систем охлаждения на действующем объекте можно только по согласованной программе и с разрешения оператора. Неудачный тест способен вызвать настоящий простой.
Почему дата-центры продолжают работать при авариях и что означают Tier I–IV
Главная инженерная задача ЦОД заключается в устранении единичных точек отказа. Если для нормальной работы нужен один насос, его поломка может остановить охлаждение. Если резервный насос уже подключён и способен принять нагрузку, обслуживание или отказ основного агрегата не обязательно приведут к остановке серверов.
Аналогичный принцип используют для электропитания, сетевого оборудования и охлаждения. Однако дублирование отдельных устройств не равнозначно полной отказоустойчивости. Необходимо учитывать общие зависимости между компонентами, программное управление, человеческие ошибки и внешние события.
Для сравнения инженерной устойчивости ЦОД применяют классификацию Tier, разработанную Uptime Institute. Существуют четыре уровня, которые различаются требованиями к топологии инженерной инфраструктуры.
| Уровень | Принцип | Что происходит при обслуживании или отказе |
|---|---|---|
| Tier I | Базовая инженерная инфраструктура | Обслуживание или неисправность критичных компонентов могут потребовать остановки площадки |
| Tier II | Резервирование отдельных компонентов мощности | Часть оборудования резервирована, но обслуживание распределительных путей по-прежнему может требовать остановки |
| Tier III | Возможность обслуживания без остановки | Любой необходимый инженерный компонент или путь распределения можно планово вывести из работы без остановки ИТ-нагрузки |
| Tier IV | Отказоустойчивая инженерная архитектура | Одиночный отказ предусмотренного стандартом инфраструктурного компонента или пути распределения не должен прерывать работу нагрузки |
Самое распространённое заблуждение связано с попытками перевести Tier в гарантированное количество минут простоя за год. Uptime Institute исключил подобные прогнозы из своего стандарта ещё в 2009 году. Сертификация Tier характеризует определённые свойства инженерной инфраструктуры, а не гарантирует конкретную доступность каждого размещённого приложения.
Также необходимо различать сертификат проектной документации и сертификат построенного объекта. Проверенный проект не доказывает, что реальное здание полностью соответствует чертежам. Ещё один отдельный вопрос заключается в качестве эксплуатации и регулярности инженерных испытаний.
Даже Tier IV не защищает от всех возможных сценариев. Крупный пожар, затопление, разрушение здания, серьёзная ошибка программного обеспечения, атака на инфраструктуру или одновременная потеря внешних коммуникаций могут сделать сервис недоступным.
Почему одного дата-центра недостаточно
Представим банк, инфраструктура которого целиком размещена в одном современном ЦОД. В здании имеются два контура питания, резервные генераторы и дублированное охлаждение. Однако тяжёлая авария выводит из строя всю площадку.
Если банковские системы работают только здесь, инженерная отказоустойчивость уже не поможет. Для защиты от потери площадки нужны независимые вычислительные мощности в другом месте и архитектура приложений, которая умеет использовать резервную площадку.
Такой подход называют географическим резервированием или катастрофоустойчивой архитектурой. Данные между площадками могут передаваться синхронно или асинхронно. Выбор зависит от задержек связи, требований к согласованности данных и допустимой потери последних изменений.
Два основных показателя плана восстановления называются RTO и RPO. RTO определяет максимально допустимое время восстановления сервиса, а RPO показывает, какой промежуток последних изменений допускается потерять после аварии.
При этом репликация данных и резервное копирование решают разные задачи. Репликация помогает поддерживать работающие копии данных, но ошибочное удаление или шифрование файлов может распространиться и на реплики.
Поэтому необходимы отдельные резервные копии, которые нельзя легко изменить или удалить вместе с основными данными. Для защиты применяют независимые хранилища, неизменяемые копии и правило резервного копирования 3-2-1. Регулярное пробное восстановление подтверждает, что сохранённые данные действительно пригодны к использованию.
Наконец, даже несколько дата-центров не обеспечат автоматическую доступность приложения, если переключение зависит от одного балансировщика, общей системы управления или неправильно настроенной базы данных. Катастрофоустойчивость требует проектирования и испытаний всего сервиса, а не только здания.
Какие бывают дата-центры и как оценить их надёжность
Не все ЦОД выполняют одинаковые задачи. Корпоративный дата-центр обслуживает собственные системы организации. Коммерческий оператор предоставляет другим компаниям место для оборудования, электричество, охлаждение и связь. Такой формат часто называют colocation.
Есть операторы, которые сдают готовые физические серверы, а облачные провайдеры предоставляют виртуальные машины, базы данных, объектные хранилища и другие сервисы. Пользователь облака обычно не управляет конкретной стойкой или сервером, поскольку распределением физических ресурсов занимается провайдер.
Отдельную категорию составляют крупные вычислительные центры для научных расчётов и искусственного интеллекта. В таких комплексах огромное значение имеют плотность вычислений, высокоскоростные соединения между ускорителями и способность охлаждать энергоёмкое оборудование.
Отличается и экономическая модель. Собственный ЦОД даёт высокий уровень контроля над инженерной инфраструктурой, но требует крупных инвестиций и постоянной эксплуатации. Colocation позволяет разместить собственное оборудование на подготовленной площадке. Облако сокращает необходимость самостоятельно обслуживать физические серверы, хотя расходы зависят от выбранных ресурсов, трафика и модели использования.
Для небольшой компании с одним сайтом строить собственный дата-центр обычно бессмысленно. Арендованный сервер или облачная инфраструктура чаще оказываются практичнее. Для крупных организаций с постоянной нагрузкой, особыми требованиями к оборудованию или размещению данных собственная площадка может быть экономически и технически оправдана.
На какие показатели смотреть
Операторы любят рассказывать о мегаваттах мощности, тысячах серверных стоек и эффективности охлаждения. Такие характеристики полезны, но практически ничего не говорят о способности конкретного приложения пережить аварию.
Например, показатель PUE рассчитывают как отношение всей энергии, потреблённой ЦОД, к энергии ИТ-оборудования. При PUE 1,2 на каждый 1 кВт·ч, потреблённый серверами, хранилищами и сетевым оборудованием, приходится 1,2 кВт·ч общего энергопотребления объекта.
Чем ближе PUE к единице, тем меньше относительные энергетические накладные расходы площадки. Но PUE не измеряет производительность серверов, сохранность данных или общую экологичность. Низкий показатель может сочетаться с неэффективным использованием вычислительных ресурсов. Методологию расчёта описывает организация The Green Grid.
Для практической оценки ЦОД полезнее получить ответы на несколько вопросов.
- Есть ли подтверждённая сертификация построенного объекта, и какие именно помещения или модули она охватывает?
- Насколько независимы линии электропитания, генераторы, системы охлаждения и внешние каналы связи?
- Проводит ли оператор регулярные испытания переключения на резервное питание и проверяет ли восстановление после отказов?
- Какие показатели доступности закреплены в договоре и какие исключения предусмотрены соглашением об уровне сервиса, или SLA?
- Кто отвечает за физическую безопасность, сетевую защиту, резервные копии и восстановление приложений?
- Может ли сервис пережить потерю всей площадки, какие значения RTO и RPO подтверждены испытаниями?
Самая частая ошибка при выборе ЦОД заключается в подмене фактической устойчивости красивой инженерной характеристикой. Два генератора, несколько операторов связи и современный машинный зал действительно уменьшают риски. Но без проверки архитектуры, эксплуатационных регламентов и восстановления после аварии нельзя сделать вывод о доступности приложений.
Частые вопросы о дата-центрах
Чем дата-центр отличается от обычной серверной?
Серверная представляет собой помещение с вычислительным оборудованием. Дата-центр обычно объединяет специализированные системы электропитания, охлаждения, связи, мониторинга и безопасности. Однако граница не определяется только размером здания. Небольшой профессионально оборудованный ЦОД может быть надёжнее крупной, но плохо организованной серверной.
Где физически хранятся данные пользователей?
Информация хранится на накопителях серверов или специализированных систем хранения. Данные могут распределяться между несколькими дисками, серверами и площадками. Оперативная память временно содержит информацию, необходимую выполняющимся процессам. Конкретное физическое размещение зависит от архитектуры сервиса и политики оператора.
Можно ли узнать расположение дата-центра по IP-адресу?
IP-геолокация позволяет приблизительно определить регион или оператора, но не обязательно адрес физического сервера. Адрес может принадлежать CDN, прокси-серверу или сетевой инфраструктуре, расположенной отдельно от основного хранилища данных. Для точного ответа нужны сведения от оператора.
Может ли дата-центр работать без интернета?
Да. При потере внешней связи серверы могут продолжать вычисления и обмениваться данными внутри локальной сети. Однако пользователи за пределами площадки могут потерять доступ к сервисам. Некоторые организации используют частные каналы связи между ЦОД, которые не зависят от публичного интернета.
Зачем строить дата-центры рядом с электростанциями?
Близость мощного источника электроэнергии или развитой сетевой инфраструктуры может упростить подключение большой нагрузки и повлиять на стоимость строительства. Но соседство с электростанцией не означает автоматического резервирования или гарантированного питания. Надёжность зависит от конкретной схемы электроснабжения и независимости источников.
Почему дата-центры не всегда строят в крупных городах?
При выборе площадки учитывают доступность электроэнергии, стоимость земли, качество связи, климат и физические риски. В некоторых регионах строительство и охлаждение обходятся дешевле. Однако для приложений, чувствительных к задержкам, удалённость вычислительного центра от пользователей может оказаться недостатком.
Облако работает без физических серверов?
Нет. Облачные сервисы используют физические серверы, системы хранения, сети и дата-центры. Виртуализация и программные платформы позволяют распределять ресурсы между клиентами, создавать виртуальные машины и автоматически менять выделенную мощность. Но за любой облачной услугой остаётся материальная вычислительная инфраструктура.
Сколько лет может работать дата-центр?
Здание и инженерные системы при правильном обслуживании могут эксплуатироваться десятилетиями, но отдельные компоненты служат существенно меньше. Серверы, аккумуляторы, сетевое оборудование и системы охлаждения постепенно заменяют или модернизируют. Срок службы всего ЦОД зависит от технического состояния здания, доступной мощности, экономики эксплуатации и возможности обновлять инфраструктуру.
Вывод. Дата-центр нельзя свести к помещению с серверами. Перед нами сложная инженерная система, в которой вычисления зависят от электричества, охлаждения, связи и работы обслуживающего персонала. Главная характеристика хорошего ЦОД заключается не в количестве установленных стоек или мощности генераторов, а в способности поддерживать требуемую нагрузку при обслуживании и предусмотренных отказах.
Для размещения обычного сайта чаще достаточно надёжного хостинга или облака с проверяемыми резервными копиями. Для критичных банковских, государственных и корпоративных систем требуется гораздо более серьёзная архитектура, включая независимые площадки, согласованность данных, резервирование сетей и регулярные испытания восстановления.
Именно поэтому самый дорогой дата-центр не обязательно самый надёжный для конкретного бизнеса. Надёжность определяется тем, какие аварии система способна пережить, сколько данных может потерять и насколько быстро вернётся к нормальной работе.
