Хабрахабр

Обзор ЦОД IXcellerate (самый большой машзал в РФ)

Это не имеет никакого отношения к технической части, но по-человечески приятно. Самое главное — тут после машзала подают горячие влажные салфетки, как в японских ресторанах.

А это гитара с автографом Пола Маккартни, и да, она у них висит на входе в машзал:

У этого ЦОДа есть определённое настроение.

Высота ангара — 14 метров, внутри построен ЦОД высотой 9 метров. Выглядит всё это как огромный ангар в промзоне около метро «Отрадное». Здание выбиралось так, чтобы не выходило на дорогу краями (по протоколам сертификации нельзя получить высокие уровни, если в машзал можно попасть на грузовике, протаранив стену, — видимо, были случаи), имело два разных маршрута заезда и было относительно недалеко от метро. Оставшееся пространство играет роль теплоизолятора, что сказывается на местных особенностях охлаждения. Там же рядом открыли станцию МЦК, но дорога идёт по таким весёлым местам….

Но клятвенно обещаю, что, если что-то пойдёт не так, мы будем первыми, кто об этом расскажет. Канарейка. Нам тут пока всё нравится, поэтому рассказ в целом положительный. Ну или просто уберём вот этот абзац из поста, если будем связаны NDA.

Что за дата-центр IXcellerate

У нас есть облако Техносерв. Это натурально облако для российских заказчиков, где есть сегменты, сертифицированные по PCI DSS и по классу для «тяжёлых» ПД и государственных информационных систем. В облаке также есть коммерческие заказчики, которым нужно S3 и AWS API в России. До текущего года мы предоставляли сервис из дата-центра DataPRO, про который уже был короткий рассказ.

Геораспределённая площадка — залог здоровья и долгой жизни. Естественно, какой бы крутой ни был ЦОД, всегда нужен второй на случай попадания метеорита в первый.

Нам нужен был T3 UI (точнее, регламенты из него), возможность работать с PCI DSS (то есть собственный сертификат на физическую защиту ЦОДа) и масса других фич. Вторую площадку мы выбирали так же тщательно, как первую. «Коммерсантъ» писал, что Apple и Booking для персданных в РФ выбрали тоже это место. В итоге мы встали в ЦОД IXcellerate — это тот, где внутри одного из машзалов замурованы стойки Оранжа, стоит на пиринге *одна очень крупная игровая компания*, водятся крупные банки и госкомпании, Reuters и Nestle. То есть мотивация делать всё правильно достаточно хорошая. В общем, если у них что-то упадёт, им просто крышка.

Далеко не новичок. Вторая особенность — руководитель не новичок. Он строит дата-центры уже не первый и не десятый раз. Гай Вилнер — предприниматель из Англии. После этого он решил повторить приключение и открыть огромный ЦОД в Бразилии, России или Турции. До начала проекта он владел собственной сетью из 14 ЦОДов в Западной Европе, а потом продал её Equinix (оператор ЦОД № 1 в мире). Это легендарная личность в Рунете в сфере телекоммуникаций: некогда он был вице-президентом знаменитого «Голден Телекома» и РОЛ — возможно, с их карточек для доступа в Интернет вы начали выходить в сеть. В Бразилию его не пустила жена с детьми (потому что он нужен был дома), а в России он встретил Клиффа Гаунтлетта. И даже успел его застать при жизни. Так вот, он тоже хотел построить огромный ЦОД.

Это означает очень четкую отчётность по всем транзакциям, которая дает некую уверенность в том, что процессы и регламенты внутри ЦОДа в полной мере реализованы. К чему я всё это рассказываю — ЦОД был построен британским предпринимателем с хорошими европейскими связями, поэтому внутрь сразу пришли европейские же клиенты.

Первый этап был на 220 стоек (начали строить в 2012-м, запустили в эксплуатацию в середине 2013-го). ЦОД строили по частям, запуская машзал за машзалом. Второй машзал — на 515 стоек (1040 квадратных метров, там наши первые сервера), и третья фаза (где наше ядро) — 1100 стойко-мест (это 2500 квадратов).

Первые два машзала сертифицированы по IBM L3, третий проходит сертификацию Uptime TIER III. Три машзала независимы друг от друга, но это не три разных ЦОДа, потому что есть перекрёстное резервирование части узлов. Если очень коротко, они почти одинаковые и разница на уровне проекта, например, в том, что для UI нужна выделенная парковка для инженеров, физические барьеры для машин, где-то сопротивляемость горению 45 минут (окна в UI) против часа (IBM), разные размеры дверей и так далее.

У объекта есть сертификат Арупа за лучшее решение в области охлаждения и энергоснабжения. Генплан делала компания Arup. Поэтому и вводили всё по частям (то есть никакое оборудование не простаивало, инженерку закупали по мере масштабирования), при этом шла борьба за каждый киловатт. Это потому что ЦОД коммерческий: чем ниже PUE, тем дешевле его эксплуатировать. В ЦОДе размещается довольно много китайских заказчиков, для которых с их подходом к экологии и использованию электричества эти числа — просто космос. Сейчас PUE — 1,15–1,4 в зависимости от сезона. У них обычный PUE может доходить и до двух.

В то время все лихо переезжали в рамках закона о защите персональных данных и, как следствие, на российском рынке облачных инфраструктур (это то, что делаем мы) был повышенный спрос на дата-центры (это то, где провайдерам облаков надо было размещаться). На момент начала эксплуатации баланс заказчиков у них был примерно 50/50 отечественных к иностранным.

И ещё третий машзал финансировала компания Goldman Sachs Group, что добавляет надёжности проекту в глазах иностранных руководителей. Именно сюда сейчас идут все больше компаний из-за рубежа, потому что тут стоит знаковый заказчик — иностранный провайдер Orange, который для многих и жизненный ориентир, и корпоративный стандарт. ЦОДы не меняют каждый год, поэтому им важно продумать на 10 лет вперёд.

Все надписи продублированы на китайском: Учитывая обилие внешних контактов, поддержка первой линии общается письменно на русском, английском и китайском.

Это как альянсы авиакомпаний, когда вы можете купить билет с пересадкой между членами альянса и вам перегрузят багаж без вашего участия. ЦОД, благодаря всё тому же Гаю, состоит в двух альянсах ЦОДов — европейском и азиатском. Заказчик одного из ЦОДов альянса фактически работает со всей сетью в одно окно. Очень многим нужны геораспределённые размещения, и поэтому делаются такие альянсы. На нашем рынке это пока уникальное явление.

Физическая защита

Первый периметр — это внешний забор, который снабжён датчиками, камерами и колючей проволокой. Для PCI DSS-объектов очень важна защита здания. Затем нужно попасть в само здание (открывают по пропуску или камере), дальше нужно пройти охрану (пропуска, досмотр, изъятие бутылок с кефиром), потом нужно зайти в машзал (биометрические сканеры ладони, отпечатков пальцев или коды). На входе на территорию КПП. Везде видеонаблюдение. В машзале сами стойки чаще всего в загородках (кто как поставит, обычно тоже отпечатки пальцев или ключи, вроде была одна mantrap для банка: это тамбур, куда можно войти по пропуску или пальцу, а вторая дверь — только по разрешению охранника с камеры).

С загородкой же тут всё намного интереснее, потому что, например, рядом с нами стоят японцы. Субъективно физический периметр в DataPro немного сильнее, если вы стоите без загородки. Говорят, есть и те, у кого 8 мм, но я не измерял. У них собственный стандарт ячейки и толщина прута 6 мм. У многих в загородках стоят инфракрасные датчики движения или пересечения, есть пара клеток от пола до потолка.

Больше, чем где бы то ни было в коммерческих ЦОДах по России. Загородок тут очень много. По крайней мере, из того, что я знаю.

Обзор

Комната отдыха для админов больше похожа на библиотеку: Странности начинаются сразу после входа.

Есть винил Led Zeppelin и Deep Purple. Можно немного оглядеться вокруг и увидеть проигрыватель с настоящим винилом. Дипи шмота нет.

Эти же товарищи делают фестиваль Rockin’Russia. Всё потому, что инвестор любит рок даже больше, чем дата-центры. Клифф (который был директором до запуска в эксплуатацию) написал две песни для Scorpions (например, One and One Is Three).

Есть бахильница и разбахильница:

Рядом машина, которая мочит и греет салфетки:

И еда с водой (бесплатные):

Зона разгрузки

Вот здесь проводится подготовка оборудования к заносу в машзал. Здесь, пожалуй, самая интересно оборудованная зона разгрузки среди российских ЦОДов. Во-первых, она большая. Во-вторых, тут есть теннисный стол. В-третьих, тут есть специальная воздухоочистка. Это камера акклиматизации для первого машзала (мы основное оборудование грузили через другую, похожую):

Обратите внимание на высоту ворот.

Оборудование заносится сюда, по нему проходят пылесосом Керхер (обычная модель из самых мощных), потом железо в коробках отстаивается, потом освобождается от коробок (внутри картон запрещён — и вообще всё горючее запрещено).

Очень удобные упоры с возможностью крепления двери:

Провайдеры

Вообще, от ЦОДа нужны три вещи: правильное охлаждение, правильная связь и правильное питание. Про охлаждение добавлю, что у них зоопарк из обычных кондиционеров, чиллер-фанкойла и фрикулинга в разных залах. А вот про связь очень важно, что тут прямая связь с М-9 и есть пиринговые узлы. То есть если трафик пробежит от одного сервера ЦОДа до другого сервера ЦОДа (возможно, другой компании) через «девятку» или аналогичные европейские узлы, то пиринговый узел прогонит его напрямую через локальную сеть. Ну и дальше уже пиринг провайдеров. Учитывая, что тут стоит одна очень большая игровая компания, я догадываюсь, кому это было нужно в первую очередь, чтобы у юзеров не лагало.

Год назад это было второе место в России по коннективити. На площадке на момент публикации поста 43 провайдера. Сейчас, вполне возможно, IXcellerate уже вышел на первое, но исследования пока не было.

Говорят, один из заказчиков планировал поставить туда спутниковый телепорт, но в итоге не поставил. На крыше есть площадка под спутниковое оборудование, можно ставить любые антенны, но пока ничего нет.

Машзал

Давайте просто походим, а я покажу, что можно было снимать.

Много клеток:

Оптимизация охлаждения — загородки и панели с вынимаемыми ламелями:

Термодатчики:

Говорят, это импортозамещение, которое смогло. PDU делаются под них по их проекту на подмосковном заводе. Они, кстати, запираются:

Вот большой машзал:

Вот за такими дверями техпомещения и секретные уровни:

Но может оказаться и аккумуляторная. Бывает, что за ними закрытые комнаты на 25–35 стоек для секретности. Последние хороши отдельной телеметрией каждой батареи, сроком службы до 12 лет (у свинцовых максимум 7, а скорее, 5), они более стойкие к перепадам температуры и нагреву, плюс два градуса не вышибают год из срока эксплуатации. В первом машзале обычные батареи, в третьем уже литий-ионные. У каждой батареи свой отдельный кожух: В перспективе больше 5 лет они дешевле свинцовых.

Посмотрите, какая забота о людях: вот эти заглушки не дают кабелю порезаться о края держателя: Вот оптические лотки.

Предлагаю угадать, что это такое: Вот это гравицапа.

Есть пара шкафов с ЗИП. В некоторых клетках клиенты хранят табуретки, стремянки, терминалы. В паре стоек стоят чемоданчики (это которые ставятся на салазки и предназначены специально для хранения вещей в стойке). Требование одно – чтобы из негорючего материала. А вот характерная деталь: металлические трубы для слаботочки.

Наше железо:

Питание

На территорию приходит два независимых городских луча на 13 МВт.

В следующем году должно быть 3N — строят энергоцентр на три газовые турбины. Сейчас питание 2N.

Вот дизели:

Бетонные блоки, чтобы машина даже случайно не въехала в дизель:

Рядом охлаждение:

Там же можно отдохнуть: И в конце нас ждёт газон для музфестивалей и футбола.

ТТХ ЦОДа

  • Сертификаты: PCI DSS, ISO 27000 (27001), ISO 9000 (9001), ISO 14001:2004.
  • Здание площадью 6 тысяч квадратных метров, 1835 стойко-мест, мощность — 13,7 МВт.
  • Энергетика — 2N, ИБП+ДГУ, охлаждение — чиллеры с фрикулингом, резерв — N+1.

Пока всё. В ЦОДе работает 50 человек, включая неинженерный персонал. Мы очень долго выбирали себе вторую площадку и вроде бы выбрали правильно (по крайней мере, наше оборудование стоит тут уже больше года). Но ещё раз отмечу: если что-то поменяется, буду держать в курсе.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть