Хабрахабр

Где хранить данные: экскурсия в дата-центр IXcellerate

Часто приходится слышать, что хранить данные и выводить свои системы на ИТ-аутсорсинг – это опасно и ненадёжно. Якобы данные могут быть недоступны из-за технических проблем у провайдера, дата-центр может стать объектом хакерской атаки, да и просто спокойнее, когда всё ИТ-оборудование и все данные компании рядом, «под боком», а не хранятся и обслуживаются «на стороне».

Мы – это сервис-провайдер «Онланта». Предлагаю посмотреть, как устроен дата-центр IXcellerate, в котором мы храним свои данные и данные клиентов. ЦОД IXcellerate как раз и является одним из них. Наше облако OnCloud.ru создано на базе нескольких, географически распределённых дата-центров.

Центр обработки данных IXcellerate располагается на территории бывшей промзоны и завода ЖБИ в районе Алтуфьево на участке более 15 тыс. кв. м – это один из самых крупных дата-центров в Москве.

Выбор территории завода железобетонных изделий для создания дата-центра был неслучаен – подобные предприятия обычно имеют мощные линии ввода электроэнергии, что как раз и нужно для дата-центра. На территории ЦОДа таких линий две – от двух разных распределительных подстанций. Расстояние между их вводами в здание не менее 150 м. Это серьезно повышает надёжность и доступность сервисов дата-центра, поскольку вероятность сбоев по причине аварий на электросети сильно снижается.

Основателем компании IXcellerate является известный международный инвестор и британский предприниматель Гай Вилнер. Дата-центр IXcellerate начали строить в 2012 году и через год ввели в эксплуатацию первый машинный зал.

Гай Виллнер (справа)

Он оказался одним из тех иностранцев, которые приехали сюда во времена перестройки, влюбились в страну, и, несмотря на все её проблемы, остались здесь навсегда (Клифф скончался в 2013 г). Соучредителем Гая Вилнера был другой международный бизнесмен – Клифф Гаунтлетт, который начал работать в Cоветском Союзе в конце 1980-х. Их выпускал российский провайдер Golden Telecom, где Клифф работал старшим вице-президентом. Наверное, многие помнят телефонные карточки ROL. Отсюда и девиз дата-центра IXcellerate – Rockin’Russia. Кроме этого, Клифф был ещё и заядлым «рокером» – возглавлял знаменитый ROL Band, а его песни есть даже в репертуаре группы Scorpions.

Корпортивный фестиваль Rockin’Russia: Клифф Гаунтлетт с гитарой, за барабанами – Александр Вершбоу, посол США в России. (фото www.passportmagazine.ru)

В честь Клиффа Гаунтлетта Самый был назван первый машинный зал дата-центра IXcellerate.

В дата-центре до сих пор висит гитара Клиффа, с оригинальным автографом самого Пола Маккартни

Проектная мощность дата-центра – 13.7 Мегаватт, а емкость  – 1835 стойко-мест, и это число растёт. Площадь здания — 6000 кв. м. Кроме того, в ЦОДе есть более 600 кв. м складских помещений для клиентов, где они могут хранить необходимое для работы оборудование.

Территория удалена от аэропортов, железнодорожных путей, автотрасс, различного рода торгово-развлекательных центров, а также жилых зданий. К зданию дата-центра ведут две подъездные дороги.

Здание дата-центра с установленными устройствами охлаждения (чиллерами)

Помимо основного электроснабжения от двух электроподстанций в Подмосковье в дата-центре имеются и резервные дизель-генераторы, вырабатывающие электроэнергию в аварийных ситуациях, например, если во время стихийного бедствия откажут обе подстанции.

Около дизель-генераторов поставлены специальные защитные бетонные блоки, чтобы их случайно не повредили движущейся техникой. Для дизель-генераторов поставляется специальное топливо – летнее и зимнее.

Уличный контейнер с дизель-генератором за защитными бетонными блоками

Во время нашего визита как раз проводилось техобслуживание дизель-генераторов, и на территории находились автомобили с контрольно-измерительным оборудованием. Работоспособность дизелей контролируется круглосуточно в режиме онлайн, да ещё и дежурный осуществляет обход каждые четыре часа.

При отказе сетевого электропитания аккумуляторы создают необходимый временной интервал, пока резервные дизель-генераторы после запуска выходят на необходимую мощность.

Техобслуживание дизель-генераторов

Здание дата-центра облицовано т.н. В дата-центре строго соблюдаются требования как физической, так и информационной безопасности, а также безопасности электросетей. Они обеспечивают теплоизоляцию и физическую защиту. сэндвич-панелями как снаружи, так и изнутри. Дата-центр строился по принципу «коробка в коробке», то есть от улицы внутренние помещения отделяют деревья, бетонный забор, газон и многослойные сэндвич-панели.

Между ними есть защитная прослойка от протечек. Крыша здания расположена на высоте 14 м, а крыша машинного зала – 9 м.

Микроклимат также создают охладители воздуха (чиллеры) и прецизионные кондиционеры. Многослойность позволяет поддерживать определенные параметры температуры и влажности, оптимальные для работы серверного оборудования.

Награды дата-центра

Дата-центр имеет сертификаты ISO 27001и ISO 9001, сертификат по стандарту безопасности данных для платёжных карт PCI DSS v3.2, а также сертификат соответствия уровню надежности IBM Level 3 в категориях «Проект», «Строительство» и «Эксплуатация». В 2018 году дата-центр IXcellerate получил сертификат Uptime Institute на соответствие уровню Tier III в категории «Дизайн».

Это означает, что инфраструктура дата-центра доступна 99,999% времени рабочего времени. Уровень обслуживания SLA, предоставляемый для клиентов составляет, как говорят ИТ-специалисты, «пять девяток». То есть время возможного простоя в год не превышает пяти минут и шестнадцати секунд.

Дата-центр третий год подряд является победителем и обладателем награды Russian DC Awards за самое эффективное решение по охлаждению и электроснабжению, за инновационное решение в области снижения совокупной стоимости владения ТСО (Total Cost of Ownership), а также локализацию персональных данных.

Вложения в дата-центр составляют порядка 50 миллионов долларов, при этом уровень операционной безубыточности был достигнут после 4 лет эксплуатации, а не за обычные для дата-центров такого класса 8-10 лет.

«Тумба гордости» с наградами и сертификатами дата-центра

Создание дата-центра

Дата-центр IXcellerate строился модульно, в три фазы. Машинный зал первой фазы во время строительства в 2012 году был самым большим в Москве. Залы второй и третьей фазы огибают зал первой фазы по периметру буквой Г.

Отдельная разгрузочная зона предусмотрена и для пожарной станции. Каждый машинный зал имеет собственные погрузочно-разгрузочные зоны.

Схема ЦОД IXcellerate

размещение оборудования клиентов, его защиту и обеспечение требуемой инженерной инфраструктуры с установленным уровнем обслуживания по стандартному договору. IXcellerate создавался как «нейтральный» дата-центр, независимый от поставщиков телекоммуникационных и облачных услуг, и ориентированный исключительно на услуги «колокейшн» (co-location), т.е.

Для таких случаев в дата-центре имеется экосистема партнёров, на оборудовании которых предоставляются облачные решения. Бывает, что клиенты спрашивают про облачные услуги. Мы как раз этим и занимаемся.

Посмотрим, что внутри

Дата-центр обязывает сотрудников и авторизованных клиентов проходить двойную идентификацию, включающую стандартную ID-карту и биометрический контроль (сканер ладони руки).

Контроль доступа для сотрудников

Эти ячейки отгорожены друг от друга металлической сеткой. Доступ в ячейки («клетки»), где установлено клиентское оборудование, находится  под круглосуточным контролем, то есть туда могут попасть только авторизованные клиентом сотрудники дата-центра.

Всего предусмотрено пять рубежей физической безопасности с постоянно работающей системой мониторинга и управления зданием (BMS) Computrols. Ячейки также имеют собственные средства физической защиты, например, кодовые замки и видеокамеры.

В дата-центре стало хорошей традицией называть каждый машинный зал в честь компании или человека, который внёс наибольший вклад в его создание.

Зал первой фазы, названный в честь Клиффа Гаунтлетта, спроектирован на 220 стойко-мест с оборудованием клиентов.

Зал третьей фазы назван «Высота» в честь технического директора дата-центра Сергея Владимировича Вышемирского, который раньше работал на аэродроме «Чкаловский». При строительстве зала второй фазы были использованы инвестиции японской компании Sumitomo Corp., поэтому он называется The Summit Hall.

Табличка с названием третьего машинного зала

Электропитание и охлаждение

Для питания оборудования клиентов используется электричество повышенного качества. Что означает слово «качество» применительно к электричеству? Не секрет, что промышленный электрический ток иногда имеет пиковые всплески, которые могут вывести из строя клиентское оборудование. Поэтому в дата-центре имеется специальная «электрическая комната», где эти выбросы устраняются. В результате получается электрический ток частотой 50 Герц, имеющий форму «чистой» синусоиды, без выбросов и пиков. Электрораспределительное оборудование постоянно контролирует девять параметров качества тока.

Повреждение одного маршрута прокладки не повлечет за собой остановки дата-центра или его части, так как всегда имеется резервный маршрут. Резервирование электроснабжения ЦОД организовано на уровне 2N: как уже говорилось, к дата-центру подходят два независимых луча электропитания.

Так выглядят входящие линии с подстанций электропитания на одном из маршрутов прокладки.

Ввод электропитания от трансформаторной подстанции

Электропроводка от выключателей проложена в металлических трубах, чтобы при возможном коротком замыкании не летели искры наружу. Вот ещё небольшой штрих к теме электрической и пожарной безопасности.

Выключатели для ламп освещения с проводкой в металлических трубах

Под фальшполом в стойки с оборудованием подаётся холодный воздух с заданной влажностью в полном соответствии с международным стандартом ASHRAE. Все кабели электропитания проходят под фальшполом высотой 1 м.

На ячейках с клиентским оборудованием установлены датчики температуры и влажности, которые не только визуально отображают эти параметры, но и регулярно передают их в централизованную систему управления инженерной инфраструктурой дата-центра.

Датчик температуры и влажности

Для ещё большей надёжности они проложены в отдельных желобах. Для питания каждой стойки под фальшполом есть две розетки – каждая от отдельной линии ввода с разных электроподстанций.

Две розетки питания стойки (сквозь решётку фальшпола)

Некоторые клиенты для повышения безопасности также устанавливают собственные видеокамеры в свои ячейки с оборудованием.

В дата-центре имеются «телеком-зоны», где установлено оборудование 44 операторов связи, включая Orange, Sprint, Beeline, MegaFon, MTS, Telia, других операторов и Интернет-провайдеров, а также узел MSK-IX и платформа обмена трафиком Eurasia Peering IX, объединяющий 38 операторов-резидентов.

В дата-центр для установки принимается клиентское оборудование любого размера и функционала, даже ленточные накопители.

Один из наших клиентов – телеканал с многомиллионной аудиторией – осуществляет здесь резервирование для вещания в HD.

Пожарная безопасность

Способность быстро и эффективно потушить возгорание, а лучше вообще его не допускать – одна из важнейших характеристик любого дата-центра.

Первый уровень – система сверхраннего обнаружения задымления Vesda, реагирующая на изменение плотности воздуха и количества примесей и пыли всего на 0,01%. В IXcellerate применена трёхуровневая система обнаружения и тушения пожара. Такая система может распознать задымление на самой ранней стадии, а также определить сектор, где произошло изменение параметров. Самообучающаяся система с элементами искусственного интеллекта держит в памяти определённую матрицу параметров воздуха.

Apollo – интегрированная система пожарной сигнализации и системы оповещения – следующая ступень в пожарной безопасности ЦОД.

м (с возможностью нахождения персонала непосредственно в машзале и без воздействия и последствий для других участков). Но гордость IXcellerate – автоматическая система пожаротушения HI-FOG, которая способна локализовать возгорания на площади 4 х 4 кв. Для этого в системе HI-FOG применены водные распылители (спринклеры), находящиеся под постоянным давлением и размещаемые над каждым локальным периметром 4 х 4 м.

е. Важно отметить, что в HI-FOG используется система сухотрубов, т. используемое в штатном режиме вещество для тушения огня – дистиллированная вода – хранится в цистерне, которая размещается в пожарно-насосной станции.

Один из спринклеров

В спринклере находится  шарик с эфирным веществом, который лопается при температуре 57о С, после чего автоматически запускается система пожаротушения.

То есть система позволяет устранить две причины пожара их трёх возможных. Система HI-FOG создаёт мелкодисперсный туман, который закрывает зону возгорания, вытесняет из неё кислород и снижает температуру. Однако уже упомянутые сэндвич-панели, которыми облицованы как внешние, так внутренние стены, а также плиты фальшпола в зале выполнены из негорючего материала. Третья теоретически возможная причина пожара – наличие горючего материала. Кроме того, в дата-центре используются только малодымные кабели. Эти панели могут обеспечить до 90 минут огнеупорной защиты.

Кроме того, ее использование не требует обязательной эвакуации людей. Система HI-FOG, пожалуй, оптимальна для применения в дата-центре, поскольку обеспечивает локальное тушение, а не заливает газовой пеной весь зал, нанося ущерб оборудованию, не охваченному пожаром.

Сертификат FM Approved, выданный международным лидером в сфере независимых испытаний, позволяет использовать технологию HI-FOG также в энергетической отрасли, на перерабатывающих и обрабатывающих промышленных предприятиях, а также подводных лодках и на круизных лайнерах.

Пожарная станция

Такая же система работает в московском метрополитене и Большом театре. Цистерна с дистиллированной водой (синего цвета, видна сзади на фото) рассчитана на тушение всей площади дата-центра.

Пульт управления и мониторинга

На пульте управления и мониторинга в режиме 24 х 7 находятся дежурные, наблюдающие за работой инженерных систем и ведущие приём заявок от клиентов. Система видеонаблюдения позволяет быстро переходить от отображения общей схемы дата-центра к изображениям отдельных залов, ячеек, коридоров и стоек оборудования, компонентов системы пожаротушения (включая спринклеры), электропитания, климатики.

Однако в дата-центре фактическое время обратной связи клиенту не превышает шести минут, согласно статистике портала Zendesk, который используется для регистрации обращений. Стандартный договор SLA предусматривает, что первый ответ на заявку о техподдержке должен быть дан в течение 30 минут.

Поддержка осуществляется на русском, английском и на китайском языках.

Пульт системы управления и мониторинга

За всё время работы дата-центра с момента его запуска в 2013 году не было ни одного простоя (даунтайма), ни одного нарушения SLA.

Дата-центр и его слаженная команда оставляет впечатление живого организма.

Внутри ЦОДа даже есть место музыке: когда переходишь по коридору из одного зала в другой, нельзя не заметить аппаратуру для рок-бэнда, в котором когда-то играл Клифф Гаунтлетт и который выступает на корпоративных мероприятиях и обязательном ежегодном open air фестивале IXcellerate – Rockin’Russia.

Коридор между залами дата-центра

IXсellerate планирует строительство новых площадок, в дополнение к Moscow One появятся ЦОДы Moscow Two, Moscow Three и т.д.

Тогда ни у кого на российском рынке подобного решения не было. Наша компания "Онланта" начинала сотрудничество с IXcellerate с двух стоек для реализации амбициозного на тот момент проекта по созданию геораспределенного кластера. Отдельную услугу по катастрофоустойчивому облаку у нас так никто и не купил, поэтому мы просто стали развивать своё облако сразу на двух площадках. Каналы темной оптики нам стоили космических денег по сравнению с прибылью от услуг, которые мы предоставляли. Но объективно можно сказать, что из всех трёх площадок IXcellerate является лучшей – как по организации сервиса, так и в целом по адекватности менеджмента. Потом появилась третья, так как стало очевидно, что нельзя обеспечить полноценную отказоустойчивость и балансировку нагрузки без отдельного «свидетеля», который бы не был привязан к одной из двух площадок.

Делитесь и вы, что вы больше всего цените в своем дата-центре и, наоборот, что вас больше всего раздражает?

А может быть, вы хотите с нами работать?

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Проверьте также

Закрыть
Кнопка «Наверх»
Закрыть