Хабрахабр

Экскурсия в салатовых тонах

Ночью из-за них приходится убегать из кабака, не допив пиво. Самая главная транспортная проблема в Питере — это мосты. Утром — тщательно рассчитывать время, чтобы как только мост свели, ты ловким мангустом успел на вокзал. Ну или платить за такси в два раза больше обычного. Вариант "ночевать где-нибудь в центре, рядом с вокзалом" мы не рассматриваем, как идеологически вредный.

Нет, разумеется, очень удобно оказаться в Москве в девять утра, а Питер безумно прекрасен во время белых ночей, но в половину пятого, когда я сел в такси, мне хотелось повернуть голову на 270 градусов тому жаворонку, который придумал этот утренний поезд. ..."Сапсан", уходящий в 5:30, придумали люди, которые ненавидят сов.

"Все хорошие датацентры похожи друг на друга" — думал я, когда узнал, что нас пригласили в гости ребята из DataLine.

Вот мы (в составе пяти ведущих linkmeup и примкнувших к ним друзей и сочувствующих) и решили проверить, насколько хороши (или не очень) датацентры OST и NORD. Как оказалось, каждый датацентр хорош (или плох) чуточку по-своему, особенно когда набьёшь шишек, соберёшь все грабли в округе и выучишь уроки из собственного (и, немножечко, чужого) богатого опыта.

Ну, хоть не под Газманова. Успев немного поработать в дороге (тут могла бы быть реклама одного мобильного оператора, но нет — покрытие как было плохим, так и осталось), выгружаемся на Ленинградском вокзале.

Почему в кавычках — после. Начали мы свою экскурсию по "салатовым" ЦОДам с OST — "того самого", который не так давно "горел". Фотографируем офис RT по соседству. А пока — стоим, курим, ждём опаздывающих. С этим соседством есть много забавных историй — начиная с укладки свежего асфальта и покраски поребриков бордюров перед приездом Высоких Персон, и заканчивая скидками в окрестных кафешках, которые даталайновцам делали из-за схожести бейджей.


Рупор тоталитарной пропаганды


Датацентр строгого (пропускного) режима

А много ли вы видели в ЦОДах кофеен? Пропуск, правила поведения, мясорубка на входе — почти такую же мы видели во время экскурсии в Linxdatacenter. У сотрудников и клиентов на бейджах есть "кофейные" депозиты, которые регулярно пополняются. Мы, вот, теперь парочку знаем. Нас, как дорогих гостей, тоже угостили. так что в разумных пределах кофе можно угоститься совершенно бесплатно.

Про кофе не могу сказать ничего плохого — вполне обычно для "сетевой" кофейни, но вот расположение невольно подкупает, а интерьер прямо в лучших современных традициях.


Интерьер местной кофейни


На фотографиях датацентры NORD

Помимо известных на весь Рунет надписей на стенах и бело-салатовой гаммы есть ещё и всякие забавные штуки. Экскурсия начинается с офиса. А мы его лично знаем.). Это реквизит, оставшийся от выступлений корпоративного театра (вы можете себе представить технического директора сети датацентров, играющего в спектакле?


И правда


Фотографии со спектаклей

С другой — гермозоны ЦОДа нужно вписывать в существующие конструкции, и периодически идти на компромиссы с реальностью. ЦОД (а точнее сказать, четыре ЦОДа) располагаются в комплексе промышленных зданий, построенном ещё в позапрошлом веке (тогда — завод "Ситроён", а во времена СССР — завод "Гидропривод"), так что с одной стороны — тут суровый индастриал, металлические балки, атмосфера лофта и промышленные артефакты разных эпох, которые до сих пор находят при проведении различных работ. Ещё, по слухам, где-то рядом проходит Метро-2, но это не точно. Впрочем, не сказал бы, чтобы эти компромиссы сказались на качестве — но ребятам, наверняка, пришлось попотеть при проектировании.

Экспонаты, натурально — археологические находки
Кроме театра здесь есть и свой музей.

Да, здание (а, точнее, крыша) действительно горело. Пару слов о пожаре. Где-то перегорела проводка и кондиционеры остались без электричества. Пострадали внешние блоки систем охлаждения и хладотрассы. Но, не смотря на это, гермозоны выдержали тонны вылитой на них воды, оборудование уцелело. Где-то взорвались фреонопроводы. Критичное оборудование из пострадавших датахоллов (пострадавших от отсутствия холода, не от пожара!) оперативно перенесли по другим залам, так что, уже в пять утра подняли не только все свои сервисы, но и клиентов. Восстанавливали под управлением "штаба" в лице высшего руководства всем миром — выгребли вообще все медные трубки в Москве и окрестностях (привозили даже ночью на BMW X5) и всех трезвых монтажников.

Мы лично проверили тот зал, который больше всего "пострадал" — кроме запаха гари и заменённых плиток фальшпола, о пожаре не напоминает вообще ничего (кроме стоек с оборудованием, "временно" увезённых в другой дата-холл, да там и оставшихся).


Статусная панель

Это статусная панель. Гуляя по коридорам, видим сенсорный дисплей с чем-то, очень похожим на схему машзалов ЦОДа. Их в коридорах натыкано порядком, и они позволяют on-site инженерам быстро найти, например, нужный кондиционер, ну и просто сообщают текущий статус.

Дополнительно есть приложения под Android и iOS (для клиентов и сотрудников), и статусная страница прямо на сайте. Мониторинг построен на Nagios (сейчас уже несколько независимых кластеров) и покрывает все датацентры (и OST, и NORD).

90 это несколько много. На дисплее замечаю необычно высокий PUE — не везде в России его принято считать, но всё-же 1. Ставим то, что есть на рынке, делаем максимально быстро и не заботимся об этих ваших PUE вообще, ибо зачем? Ответ на это сугубо экономический — в 2012-2013 годах стойки в ЦОДах расходились, как горячие пирожки, так что было не до сантиментов и энергоэффективности. Хотя какую-нибудь комиссию в Амстердаме кондратий бы хватил от таких цифр. Ещё на стадии проектирования выкупается 80-90% стоек, ну а законодательство в РФ про энергоэффективность знать ничего не хочет.

Просто бизнес. Ничего личного.

На каждой площадке дата-холлы помимо "официальной" цифро-буквенной кодировки имеют "человеческие" псевдонимы из военно-морского алфавита (Альфа-Браво-Чарли-Дельта...). Ещё одна особенность — это маркировка дата-холлов. Почему-то все клиенты любят зал Whiskey.


В деле заботы о клиентах не бывает мелочей

Нам в машзалах снимать не разрешили, поэтому фото DataLine ©
Такие "заборы" ставят для некоторых клиентов.

Тем более, если название (или логотип) клиента написано прямо на стойке крупными буквами. Клиенты DataLine — сплошь большие и уважаемые компании, они очень не любят, когда фотографируют их оборудование. Поэтому снимали мы ставшие уже знаменитыми стены с разными надписями, да инженерку. Не любят — и всё тут. Так как среди клиентов — большие и уважаемые, то и запросы у них бывают специфические — специальные стойки (или вообще какая-нибудь убер СХД из нескольких вендорских стоек), свои заборы, свои СКУД, своё видеонаблюдение и группа быстрого реагирования с автоматами. Инженерку фотографировать можно тоже не всю и не везде, но мы старались. Начиная от жилеток и оборудованных рабочих мест с выходом в интернет и зарядками, и заканчивая различными мероприятиями для клиентов. Вообще, одно из негласных (и гласных тоже) правил DataLine — это заботиться о клиенте и делать ему хорошо. Просто потому, что здесь всё уютно, удобно и надёжно. Последние очень полезны ещё и с той стороны, что одни и те же люди, переходя из компании в компанию, приводят их в DataLine. Это ещё и облако, одновременно сертифицированное и по 152-ФЗ и по PCI-DSS (о нём мы собираемся сделать подкаст, следите за анонсами), и предоставление связности (свои волокна между площадками и от каждой из них до М9, своё оптическое кольцо по городу, и так вплоть до организации последней мили к офису клиента). Бизнес DataLine — это не только сдача стойко-мест.


М — мотивация

Ну и предложить свою идею можно там же. К слову, о надписях — идеи приходят не только от сотрудников, но и от партнёров и клиентов, после чего за самые удачные можно проголосовать на официальной странице DataLine в FB.


Встреча на Эльбе


Кроссовая (фотография предоставлена компанией DataLine)

В MMR (их в OST три пары, по числу магистральных вводов оптики, под активку и пассивку) сводятся подключения со всех дата-холлов. Останавливаемся у Meet-Me-Room, где располагаются операторы. Зато там, где стоит операторская активка, вспоминаешь лучшие годы и кадры с какого-нибудь БМ18: лапша из проводов и разномастное оборудование (DLink, Extreme, Juniper, Mikrotik… и так до ASR9k). В кроссовой всё скучно и аккуратно. Из MMR оптика и медь расходится по машзалам. Операторов здесь более полусотни, так что всё пёстро. MMR называется "Эльба", что весьма тонко. Минимум две трассы на каждый (возможны варианты), так что за надёжность подключения можно не переживать.


IBM Power н-нада?

Машину (вместе с ленточной библиотекой и СХД) заказал один из клиентов, но "не пригодилась", поэтому её подарили датацентру. Ещё одна находка — это IBM P-series, который ни разу не включали, и он уже несколько лет стоит в одном из коридоров. С тех пор и стоит.

(А может и не подарили, а забыли. Хорошо, наверное, быть состоятельными парнями и делать такие подарки, да? Но стоит давно) Или в карты проиграли.


Вот такой красавец стоит в NORD-4

Дизель выходит на полную мощность за 30-40 секунд и выдаёт 1900кВА. Идём в энергоцентр — три (а то и четыре) ДГУ на каждый ЦОД (напомню, в OST их четыре). Самое большое время сидения на дизелях в OST — 12 часов. Резервирование N+1, синхронизация, и прочее — в комплекте. 5 суток (всё-таки хранилище на 85 тонн это вам не хухры-мухры). в NORD — 2.

Переключение на дизель происходит регулярно, так что и топливо вырабатывается, и контракты проверяются. Разумеется, есть договоры с разными топливными компаниями на подвоз топлива. К слову, по словам коллег, в NORD при тестировании ДГУ, которое обычно занимает не один час, на месте, куда выбрасывается горячий воздух от дизелей, даже зимой успевает зазеленеть трава.

Это тоже не один датацентр, а четыре.независимых здания на одной территории. После короткого перекуса в уже знакомой кофейне едем на площадку NORD. NORD-1 и NORD-2 прошли аудит Uptime Institute M&O. У каждого свои вводы электричества, свои дизели и своё охлаждение. Самый свежий (и самый лучший ЦОД DataLine) — NORD-4, так что идём мы именно сюда.

Нет, конечно, одну-две стойки вам отгрзузят без проблем. При огромном, казалось бы, количестве ЦОДов в Москве, всё равно наблюдается дефицит. Больше — уже вопрос (а у DataLine клиентов с такими потребностями — не один и не два). Даже двадцать дадут. Тем не менее, сейчас вовсю идёт проектирование NORD-5, который обещают запустить в начале 2020 года. Конкретно в NORD-4 место (пока) есть, потому что один крупный клинет съехал в свой собственный свежепостроенный ЦОД, но вот в других местах так может уже не повезти.

Так как ехали мы на машине, то нас запустили в шлюз, в котором нас взяли на прицел автоматчики номер нашей машины сверили с заявкой, а всех пассажиров попросили выйти для получения пропусков (разумеется, по паспорту). Но вернёмся к нашей экскурсии. Ибо Б — безопасность.

построенный ЦОД), а так же Operational Sustainability — ребята к делу подошли максимально ответственно. NORD-4 — это гордость компании и компиляция многолетнего опыта в строительстве и эксплуатации датацентров, он имеет сертификаты Uptime Institute Tier III на дизайн-проект и Facility (т.е. У каждой — свой энергоцентр (ДГУ, аккумуляторные комнаты) контуры охлаждения и системы пожаротушения. Внутри — четыре независимых друг от друга гермозоны по два зала внутри одного здания. Общего — вводы оптики (их два на здание) и MMR.


Моддинг здорового инженера

Поднимаемся в центр мониторинга. На входе в ЦОД ждёт уже знакомая нам кофейня (ну а почему бы и нет?). Из каждого центра можно смотреть за обеими площадками, так что даже здесь обеспечивается redundancy n+1. Главных сейчас два — в OST и NORD-4 (в NORD-1,2,3 тоже сидят свои дежурные смены). Немного общаемся за мониторинг — никаких модных прометеусов и графан, только Nagios, только хардкор и самописная визуализация. На видеостене — уже знакомые нам дашборды в салатовой гамме (параметров на ней, понятно, гораздо больше, чем на статусном дисплее). Примерно раз в месяц появляется очередная компания, которая предлагает "быстро и безболезненно" решить все проблемы, но пока как-то не складывается. За десять лет (впрочем, даже больше) использования написано уже множество кастомных проверок и скриптов, так что съезжать на что-то другое выглядит той ещё авантюрой. Видеостена, кстати, тоже работает на самосборном решении, которое получилось в разы дешевле коммерческих аналогов.


Здешний ЦУП

DataLine, например, не стесняется говорить, что они, просто за счёт масштаба, наступили на максимальное количество граблей, и каждый новый ЦОД — это сын ошибок трудных и опыта, который насчитывает уже более десяти лет. Когда много лет проектируешь, строишь и эксплуатируешь датацентры, то уже не так сильно боишься делать что-то сам, а не покупать готовое. Не понта ради, не ради рейтингов и сертификатов — обычный инженерный процесс, когда на каждой итерации ты растёшь над собой и становишься всё лучше и лучше. Разумеется, в каждом новом ЦОДе есть свои ноу-хау, и, гуляя по NORD, то и дело ловишь себя на мысли, то люди просто взяли, и сделали хорошо. И для того, чтобы сделать хорошо, совсем не обязательно покупать инженерные системы или софт за много-много денег (хотя и без этого, порой, никак). Сторонний наблюдатель скажет, что это скучно и консервативно, а вот клиент, наоборот, поддерживает такую стабильность собственными деньгами. Чаще решает опыт, знания и инженерная смекалка.

Первые три — полноценные, с потолками в 4. Например, здание NORD-4 насчитывает 3,5 этажа. А последний — технический, высотой всего 1. 5 метра, где располагаются машзалы. Так как этаж технический, то и требования к нему гораздо ниже, что позволило упростить проект и сэкономить деньги. 8 метра, и отдан чисто под систему охлаждения.


Вид на треугольный ЦОД


Макс обладает особым кунг-фу не палиться на фотках

Два из них треугольные. Завершаем экскурсию на крыше — отсюда открывается отличный вид на стоящую рядом ТЭЦ и жилой массив, а так же на другие здания NORD. Но ничего — построили и успешно эксплуатируют, а заодно эффективно используют имеющуюся территорию (которая в Москве, надо сказать, не бесплатная). По этому поводу коллеги даже смеялись, что "DataLine — дебилы, строят зачем-то треугольный ЦОД" Чтобы ставить там треугольные стойки и треугольные серверы. Площадка за полста километров по Минскому шоссе (даже если есть все необходимые мощности и коммуникации) уже мало кому интересна. Ещё один удивительный (для меня) факт — большинство коммерческих клиентов хочет размещаться именно в Москве. Вот и ютятся все в нерезиновой.


Градирни — это уже не ЦОД, а ТЭЦ

На этом наше очередное путешествие подошло к концу.

После была ещё долгая и продуктивная беседа о совместных планах и будущих подкастах (надеюсь, долго ждать не придётся), так что следите за новостями, скоро будет ещё больше интересного.

Совершенно бесплатно, но по предварительной записи. Ну а желающих увидеть всё своими глазами DataLine приглашает на экскурсию. Тем, кто назовёт кодовое слово "linkmeup" — плюс в карму.

Stay tuned!

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть