Инфраструктура ЦОД на пальцах: оборудование, виртуализация, управление

По прогнозам Allied Market Research к 2022 году рынок гипермасштабируемых центров обработки данных вырастет до 71,2 млрд долларов. Но даже если не знать этой информации, то Америки мы не откроем  — данных становиться всё больше и больше. Уже сейчас в центрах обработки данных по всему миру миллионы терабайт различных данных хранятся на десятках миллионов серверов, которые обслуживают сотни тысяч B2B/B2G-приложений — настоящий брутальный хайлоад. Рынок ЦОД и дальше будет масштабироваться в пользу увеличения производительности, поэтому самое время заглянуть к нему под капот

Центр обработки данных

ЦОД — отдельное специализированное помещение с максимально проработанной инженерной инфраструктурой и толстым каналом связи для обработки, хранения и распространения информации с помощью консолидации вычислительных ресурсов и сопутствующих технологий.

Если по-русски: центр обработки данных является большой серверной комнатой с десятками тысяч стоек, на которых хранятся и перерабатываются данные с очень большой скоростью. Но ЦОД — это не просто кучка серверных шкафов в машинном зале. Совокупность различных технологий, вроде перераспределения нагрузок, позволяет максимально эффективно использовать каждый мегабайт оперативной памяти, а это, в свою, очередь позволяет достигать 100% аптайма и соблюдения самых требовательных SLA.

На данный момент самый актуальный стандарт проектирования и построения ЦОД —  Tier 3 TIA 942 (Rated 3 Data Center). Стандарт TIER разработала компания Uptime Institute и на него равняется весь мировой рынок. Существует и следующая ступень — Tier IV, но количество ЦОД получивших такую сертификацию — единицы (сейчас это пытается сделать DataPro).

Требования к инфраструктуре достаточно жесткие, но это и является гарантом качества работы центра. Сюда входят такие параметры как: подключение к как минимум двум операторам связи, резервирование магистральных кабелей СКС, ИБП, ЦП маршрутизаторов, обязательная маркировка всех патч-панелей, розеток, кабелей, шкафов. Одно из главных преимуществ спецификации Tier 3 — возможность проведения ремонтных и аварийных работ (вплоть до замены компонентов) без остановки работы, благодаря тому, что все инженерные системы в нём зарезервированы.

Энергоэффективность

Важный параметр любого ЦОД — эффективность использования энергии (PUE, Power Usage Effectiveness). Данный коэффициент означает соотношение общей мощности ЦОД к мощности, потребляемой IT-инфраструктурой. Он помогает спрогнозировать возможность дальнейшей модернизации ЦОД и переоборудование электроснабжения в пользу повышения эффективности эксплуатации.

Эталонным показателем считается PUE ＜1,25. Оптимальной 1,25~1,43, хорошей — 1,43~1,67. Нужно понимать, что основной потребитель электроэнергии в ЦОД — это не оборудование. Почти половину (~45%) забирает система охлаждения. Еще около 20% теряется при распределении электроэнергии.

Структура

Фундамент центра обработки данных — его оборудование. Именно оно находится на нижней ступени во всей структуре дата-центра. На уровень выше — операционные системы, JVM (Java virtual machine) и виртуализация. В средний уровень можно записать системы управления контейнерами и планирования ресурсов. Еще на уровень выше — БД, хранилище и вычислительная платформа. На самом верхнем расположились информационные системы, микро-сервисы, приложения и т.д

Оборудование

Если мы не рассматриваем размещение собственного оборудования в ЦОД, то рассмотрим аренду виртуальных вычислительных мощностей. В зависимости от выбора провайдера услуг сетап может варьироваться по следующим параметрам:

• Количество виртуальных процессоров от 1 до 32 шт с шагом 1 шт
• Количество оперативной памяти от 1 Гбайт до 64 Гбайт с шагом 1 Гбайт
• Объем дискового пространства (внимание: одного раздела!) от 40 Гбайт до 1024 Гбайт с шагом 10 Гбайт
• Тип ОС (Microsoft Windows Server, дистрибутивы семейства Linux)

Дисковые накопители

Для организации дискового пространства могут использоваться массивы SATA/SSD/SAS. Производительность накопителей оценивается в IOPS (input/output operations per second — количество операций ввода-вывода в секунду) и может достигать до 300 000 на одну СХД (систему хранения данных). Если SATA и SSD используются и в домашних системах, то на SAS нужно остановиться поподробнее.

SAS (Serial Attached SCSI) — последовательный интерфейс для подключения дисковых накопителей, разрабатывался как замена морально устаревшему SCSI. Форматы SAS и SATA — совместимы, более того, зачастую они отличаются только прошивкой. Но именно она и является главным плюсом SAS, потому что позволяет использовать весь его функционал в enterprise-среде: end-to-end data protection, multipath, скорость до 15 000 об/мин

Одним из ведущих вендоров, производящим СХД с SAS-дисками является всем известный Hewlett Packard, который выпускает собственные системы хранения данных под брендом HPE (Hewlett Packard Enterprise). Двухюнитовая СХД начального уровня HPE MSA 2060 содержит в себе массив из 240 накопителей SAS малого форма-фактора, а суммарная ёмкость достигает 921 Тбайт

HPE MSA 2060 может работать как на Windows Server, так и на Linux (дистрибутивы Red Hat и SuSE). Имеет собственную тулзу для управления и администрирования — Storage Management Utility (SMU)

Из интересных фишек СХД можно отметить возможность расширить кэш (24гб на систему) с помощью SSD дисками,  объединить несколько RAID-массивов в единый виртуальный пул, что позволяет обойти ограничение по производительности (16 RAID-дисков), а так же систему буста работы приложений, путём перераспределения частоиспользуемых данных на наиболее быстрые диски.

Процессоры

В 99% случаев используются линейка серверных процессоров Intel Xeon. В ЦОД начального уровня ставят Intel Xeon класса Silver. Например, модель CPU Intel Xeon Silver 4414 Skylake 2,2GHz с L3-кэшем 14080Kb

В конфигурации покруче уже встречаются Xeon Gold 6254 c L3-кэшем в 25 мбайт

Источники бесперебойного питания

В отличии от домашних настольных UPS, ИБП в ЦОД должны не только обеспечивать бесперебойное электропитание активного серверного и коммутационного оборудования, но, если потребуется, и системы кондиционирования, а так же фильтровать помехи магистральной сети и стабилизировать выходное напряжение. Для этого используют целые модульные системы различных форматов — 4800 kVA (киловольт-ампер), 12000 kVA, например MODULYS XL и так далее.

Системы пожаротушения

В каждой стойке обязательно присутствует система автоматического пожаротушения для раннего обнаружения возгорания и ликвидации очагов пожаров классов А, В, С и контроль электрооборудования под напряжением. Самое популярное стоечное решение — от вендора R-Line.

Виртуальный ЦОД (VDC)

Virtual Data Center (VDC) или ВЦОД — это услуга предоставления в аренду физических ресурсов ЦОД с помощью выделения виртуальных мощностей (процессоры, память, жесткий диск). Иными словами, эта услуга называется IaaS (Infrastructure as a Service) — инфраструктура, как сервис, где оператор ЦОД предоставляет комплексное облачное решение для размещения информационной системы клиента

Выгода использования VDC заключается в том, что вы получаете ресурсы ЦОД без необходимости установки своего оборудования, траты на обслуживание инфраструктуры и избавляетесь от головной боли вечного пропадания канала связи. Помимо этого:

Платформы виртуализации

Для того, чтобы выделить вам необходимые ресурсы, используется такой процесс как виртуализация, которая помогает на одном физическом сервере создать несколько виртуальных. Сама возможность запуска нескольких изолированных друг от друга виртуальных серверов используется для оптимизации энергопотребления. Гораздо проще и дешевле иметь схему «один сервер — множество ОС — множество информационных систем», чем «Один сервер — одна ОС — одна информационная система». Виртуализация делается с помощью специального программного обеспечения — гипервизоров или платформ для виртуализации. Одни из самых популярных — Vmware ESXi и KVM (встроена в ядро Linux). Оба не требуют установки ОС на сервер, могут работать «из-под железа»

Панель управления

Для управления своего кусочка ЦОДа используется специальный «портал самообслуживания» — vCloud Director. По сути, это веб-интерфейс управления всей виртуальной инфраструктурой, где вы можете создавать виртуальные машины с нужной вам операционной системой, создавать и администрировать VPN-сети с правилами маршрутизации, настройкой файрволла и так далее.

С помощью платформы управления vCloud Director можно создавать и собственные виртуальные ЦОДы, настраивать политики, роли для доступа, конфигурировать виртуальные ресурсы и осуществлять их мониторинг, развёртывать гибкие контейнеры (например, через Kubernetes, как SRE-инженеры) и автоматизировать сложные рабочие процессы

Оркестратор

Помимо панели управления и виртуализации, важным звеном в работе ЦОД является оркестратор. Оркестратор — это система управления всеми модулями ЦОД, которая организовывает и автоматизирует рабочие процессы. Иными словами, оркестратор — это планировщик задач, который аккумулирует в себе все необходимые запросы для создания виртуальной машины (или IaaS целиком), когда соответствующее задание инициирует клиент с панели управления, а также помогает с перезапуском задач, резервным копированием, загрузкой данных и мониторингу (траблшутингу). Оркестратор тесно «работает» с системами виртуализации, телекоммуникационной инфраструктурой, биллингом, файрволлом, но не привязан к какому-то определенному гипервизору. Один из самых известных оркестраторов — VMware vRealize Orchestrator

Нужен ли моему бизнесу ЦОД?

Чтобы использовать ресурсы ЦОД не обязательно арендовать в нем собственные стойко-места. В 2021 году даже стартап может воспользоваться услугами виртуального ЦОД (т.е. по сути, той же аренды) для своих нужд, особенно если приложение или сервис критично к скорости обработки данных и их количество растёт по экспоненте. Для каких задач его можно использовать?

Кто уже использует ЦОД?

Среди крупных компаний, которые используют центры обработки данных такие гиганты, как, недавно запустившийся в России, Spotify, а также Netflix, Ubisoft, Canon. Сервис IMDB хранит в нём свою базу данных, а немецкий концерн Siemens  использует инфраструктуру для своей ультра технологичной системы здравоохранения Siemens Healthineers

Как вам статья?