Хабрахабр

Байки из ЦОДа: хэллоуинские страшилки о дизелях, дипломатии и саморезах в калорифере

Мы с коллегами подумали: почему бы перед любимым хоррор-праздником вместо успехов и интересных проектов не вспомнить всякие ужастики, с которыми сталкиваются люди в цодостроительстве. Итак, выключите свет, включите тревожную музыку, сейчас будут истории, от которых мы до сих пор иногда просыпаемся в холодном поту.

Призрак офиса

На крыше стоит метеостанция, определяет, с какой стороны солнце светит, и прикрывает шторки, если слишком ярко. В одном офисном-офисном здании делали мы серверную, да всякую автоматику для климатических систем, в том числе — шторки с приводами. Объект сдали и забыли, через некоторое время звонят, спрашивают:

Мы хотим все сами закрывать.
— Почему?!
— У нас уборщицы пугаются. — А вы не могли бы шторы обратно разавтоматизировать? Да и мы тоже — такое ощущение, что там призрак.

И в комнате, где полностью автоматизировано управление климатом, в итоге все работает в ручном режиме. Именно так выглядит страшный сон спеца по автоматике: сначала заказчик хочет автоматику и энергоэффективность, ты ему это все радостно делаешь, а потом выясняется, что руководитель любит руководить сам.

Один особо консервативный топ сказал: не хочу алгоритмы, хочу две кнопки: «включить все» и «выключить все». Мы в кабинетах всяких топов часто делаем тач-панель с которой можно управлять сценариями освещения, кондиционером, вентиляцией, шторками. Приезжал программист, плакал, убирая стандартный интерфейс управления, рисовал вместо него две кнопки и уезжал плакать домой.

А где у нас дизеля?

Темной-темной ночью, в темной-темной комнате техмена Олега зазвонил мобильник.

Сейчас принтскрин пришлю. — У нас тут в дизельной установке температура охлаждающей жидкости слишком большая.

Его не смутило ни то, что на дворе три часа ночи, ни то, что система показывала одну и ту же «температуру» в дизеле и в помещении. То был диспетчер ЦОДа, который мы месяц назад с чистой душой сдали. Олег честно сказал диспетчеру, куда ему стоит отправиться в ночи с такими запросами. Потому что это была вообще не температура, а код ошибки «нет связи с датчиком». Буквально:

Батарейный модуль в дизелях питает эту панель управления, там есть рубильник — если кто-то из ваших его трогал, его нужно повернуть обратно. — Сходи к дизелям, посмотри, скорее всего, в датчике просто батарейка села.

Вообще диспетчер — это как раз тот человек, который должен знать объект как опытный фрезеровщик свои три пальца, но тут прозвучал удивительный вопрос:

— А дизеля — они где?
— Поднимись на второй этаж, спроси у электриков, они тебя отведут.

Следующие 20 минут Олег удаленно работал навигатором, пытаясь свести диспетчера и электриков, которые не очень-то хотели устраивать кому-то экскурсии посреди ночи.

Круговорот звездюлей в ЦОДе

Аккурат за три часа до прохождения сертификации в Uptime Institute. В тридевятом царстве, тридесятом государстве накрылся у нас как-то частотник на чиллере. Так что просто поверьте: они должны работать, как куранты, иначе сертификация превратится в тыкву, а заказчик — в злую мачеху. Долго сказку сказывать, что такое чиллера да частотники, если не знаете. И, самое обидное, будет прав, ведь за визит комиссии бешеные деньги берут, и если что-то пойдет не так, никто их обратно не вернет.

Комиссия уже на пороге, выходов немного. Примчался сервисник вендора, развел руками и сказал, что пациент скорее мертв, а ждать новую плату не меньше месяца. Это не читерство, если что: по регламенту тестирования все равно один из трех чиллеров резервирующий, поэтому сценарий вполне рабочий. Первый — открутить частотник со «здорового» чиллера и поставить на «больной», а потом менять местами пока испытания не закончатся. Позвонили нашему холодильщику в Москве. Второй выход — попробовать найти новый частотник за оставшиеся полтора часа. Тот, в свою очередь, надавил на представительство производителя в Голландии и… через полчаса нам уже прикручивали новую плату. Холодильщик набрал знакомому внутри российского представителя вендора. Сертификация прошла на ура.

Недоделки

Это про незавершенные работы, а не про тех, кто их оставил, если что. Долго ли, коротко ли, но на стройке всегда наступает момент, когда уходят все субчики и остаются они: недоделки. Кто последний — тот и разгребает.

Из-за этого между одним рядом и стеной образовался зазор, и заказчик из-за этого зазора отказывался акт приемки подписывать. Делали мы как-то ЦОД в подвале: стойки в два ряда, выровненные по одному из краев, чтобы дверь открывалась. Сдали. Техмен с менеджером проекта с утра пораньше гоняли в «Леруа» за пенопластом, краской, крепежами и добросовестно заделывали зазор, чтобы был в тон со стойками.

Сходили, посчитали — все верно, они действительно не дотянули в коридор один радиатор. А однажды после ухода смежников по отоплению, обнаружилась в проекте нестыковка: радиаторов должно быть 7, а их 6. Заказчик посыпает голову пеплом, потому что акты-то уже подписаны. Пить «Боржоми» поздно, все уже смонтировано и опрессовано. Снова спас «Леруа» — купили там электрообогреватель, дотянули в коридор группу кабелей и в воскресенье утречком смонтировали сами, заказчик счастлив.

В ЦОДе воздуховод приточной вентиляции со второго этажа идет в подвал, через комнату, которая по противопожарной классификации относится к другой категории, чем те, что над и под ней. Еще нам однажды оставили волшебное ничто вместо противопожарной перегородки. Вокруг нашего сияющего воздуховода с огнезадерживающим клапаном была дыра, угадайте, кто и как ее заделывал? На практике это значит, что в воздуховоде должен быть огнезадерживающий клапан, а вокруг него — противопожарная перегородка. «Леруа Мерлен» не спонсировал этот пост, а жаль.

Дейл Карнеги нервно курит

Уложиться нужно было в крайне сжатые сроки. Давным-давно, когда трава была зеленее, а доллар был по 30 с чем-то, делали мы ЦОД для одного банка в историческом центре Москвы. Сказали заказчику, что надо грузить краном прямиком на крышу, заказчик ответил в духе «ты ковбой — ты и прыгай». Но улочки там узкие, проемы у здания тоже, поднять несколько тонн оборудования на нужный этаж по лестницам — практически невозможно. И желательно еще вчера. Ну то есть хорошая идея, а теперь согласуйте приезд 120-тонного крана с инстанциями типа ГИБДД. Удачи в начинаниях, не успеете — штраф.

Субботним утром пригнали 16-метровый кран, надеясь, что успеем сделать все быстро. Ситуация патовая, время поджимает, и мы решили рискнуть, в конце концов, штрафы ГИБДД по сравнению со штрафами за несоблюдение сроков — просто цветочки. У нас его, конечно же, нет. Спустя пару часов приехал участковый и робко спросил разрешение. И неизвестно, как бы все закончилось, если бы при нас не оказался продажник с незаурядными дипломатическими способностями.

Что там были за аргументы, продажник до сих пор не колется. Он отвел участкового в сторонку, 5 минут ему что-то объяснял, полисмен за это время несколько раз изменился в лице, но в итоге сел в свой уазик и крикнул, что, если что-то случится, он сам приедет и нам поможет.

Поднимите мне, человеки!

Сложная ночная смена, отгружаем оборудование. За горами, за полями, но в пределах Третьего транспортного, стояла …нет, не избушка, а вполне себе серьезная правительственная стройка. 5 утра, стройка понемногу оживает, водитель бетономешалки позади нашего грузовика, поминая падших женщин, недвусмысленно интересуется: не изволим ли мы убраться с дороги? Последний грузовик с 15-тонной железкой в кузове выезжает на единственный на территории перекресток, что-то с громким звуком лопается, и махина садится дном в грязищу. А мы бы и рады, потому что в 7 утра приедет один из многочисленных замов одного из министров и, если увидит это безобразие, прилетит всем: от инженеров до топов. У него, дескать, бетон стынет.

А тот ни в какую, даже за деньги. Техмен бежит к местному крановщику, слезно просит приподнять из кузова железку, чтобы мы смогли под нее другой грузовик подсунуть. Железяку мы все-таки довезли куда надо, но уже немножко седые. Ситуацию исправил наш инженер — договорился через руководителя того крановщика.

Случился эпикфейл в самом буквальном смысле. А потом стали множко седые, на том же объекте.

Его используют, когда на стройке развернуться негде, а груз нужно поднять наверх и аккуратно поставить. Есть такая штука: телескопический вилочный погрузчик. Ничего не предвещало: по спецификации машина должна была выдерживать 2 тонны с гаком. Нам с его помощью нужно было через яму разгрузить 1,5-тонный модуль в окно. Делать нечего — звоним производителю, чтобы приехал, провел восстановительные работы. Но когда до окна оставалось ровно полметра, «вилочки» у погрузчика обломились, и железка навернулась с высоты. Потому что идти туда надо было по тропинке, а на тропинке стоит экскаватор и копает. Их сервисники приехали и… отказались заходить на стройку. А ребят это шокировало. Мы-то привычные: выждал 10 секунд, пока стрела повернута в противоположную от тропинки сторону, и побежал. Пришлось преподнести эту особенность как увлекательный аттракцион, эдакий «Форт Боярд», и модуль они нам таки починили.

Немгновенная карма

Построили мы как-то отличный ЦОД для одной компании. Скоро сказка сказывается, да нескоро дело делается, особенно когда речь заходит о подписании актов приемки-передачи выполненных работ. Исправляйте спецификации и сметы или я ничего подписывать не буду. Но решил царь-батюшка-заказчик устроить нам последнее испытание:
— У вас в спецификации написано 100 гаек на лоток, а я насчитал 97.

Каждый раз оказывалось, что не 97, а 99 и т. И отправлялись мы каждый раз за тридевять земель, и считали с царем-батюшкой хором то крепежи для воздуховодов, то гайки, то болты. И не было нам покоя. д. Сказали: пусть делают, что хотят — больше туда никому не ездить. В итоге накатали столько внутренних затрат, что наше начальство не выдержало. Так и остались без подписей.

Оказалось, пришла счетная палата, а у него неучтенного оборудования на сумму с семью нулями. …А через год заказчик приходит сам и вежливо-вежливо спрашивает, где б ему расписаться?

Вингардиум левиоса!

Только недолго его радость длилась: неладное начало происходить в аккумуляторной. Жил да был один хороший заказчик, и решил он себе купить старое здание под ЦОД. Приезжаем в гости, заходим в аккумуляторную, а там… стены над полом левитируют с трех сторон. Позвал он тогда нас на помощь, на диво-дивное посмотреть да проконсультировать. Это с аккумуляторами частая проблема: важно правильно рассчитать нагрузку на конструкции и предусмотреть разгрузочные рамы, чтобы перекрытия как карточный домик не сложились. Еще бы: 4 тонны АКБ просто поставили на пол — он и начал под землю уходить.

Стены тупо стояли на песчаной стяжке, под которой — не самый дружелюбный грунт. Но вишенкой на торте архитектурного кошмара в этом здании было полное отсутствие фундамента. На прежние высоты пол это не вернуло, но хоть проваливаться перестал. Стали думать, как спасать пациента, в итоге предложили сложную систему силикатизации: это когда грунт бурится в нескольких местах и туда нагнетается укрепляющий раствор.

Битва двух йокодзун

Десятки шкафов автоматики, километры слаботочного кабеля! В некотором царстве, в некотором офисном государстве, делали мы диспетчеризацию: для дата-центра на одном из этажей, для управления климатом — для всего.

Когда мы разрабатывали проект, предполагалось, что пользоваться парилкой будут нечасто. Особенностью того офиса был собственный SPA-комплекс с сауной. Но инженер предполагает, а заказчик располагает: руководящий состав так втянулся в ЗОЖ, что сауну на всякий случай перестали выключать вообще — слишком долго прогревается.

Помогает так себе. Итог: автоматика детектит повышение температуры от сауны — включает кондиционер посильнее, чтобы скомпенсировать. Кондей впадает в паранойю, решает: «Дело не в них, дело во мне. Кондиционер продолжает надрываться — атмосфера накаляется, потому что автоматика не подозревает, что кто-то может столько париться. Кажется, я сломан», — о чем и сообщает на пульт диспетчера. Все усилия напрасны. И так каждый божий день. Диспетчер вздыхает и жмет кнопку «задача снята».

Легким движением руки

Вот три последних сказа: про кривые руки. Много еще в закромах у нас историй, да не все они тут поместятся.

Сделали, ушли с объекта, подождали, пока другой подрядчик закончит отделочные работы, вернулись на испытания системы. Сказ первый про то, как мы в одном здании помимо серверной делали подпор воздуха в лифтовые холлы и шахты. Оказалось, ребята, которые потолок монтировали, забыли положить плиты с перфорацией для воздуха. Запускаем подпор — фальшпотолок резко надувается, плиты с грохотом вылетают на пол и всё за секунду дизайнится в стиль «лофт». Они вообще не догадались об их существовании, просто брали из открытой пачки — и всё, на упаковку с перфорированными внимания не обратили, в проект не смотрели.

В одном ЦОДе был довольно узкий коридор, а воздухообмен в помещении со стеллажами АКБ должен был быть неслабым, поэтому вдоль всего потолка шли коммуникации. Эпос второй тоже о потолке. Любой воздуховод и так немножко вибрирует при работе вентустановок, а когда в нем куча дырок и неровностей, звуки Апокалипсиса вам обеспечены. Добры молодцы, делавшие фальшпотолок, не стали заморачиваться и…вкрутили крепежи подвесов прямо в наши несчастные воздуховоды. За их счет, разумеется. Отвесили мы славным витязям-монтажникам тогда таких живительных люлей, что раны на воздуховодах чудесным образом затянулись.

Вручили мы подрядчику заказчика температурный датчик и без задней мысли попросили поставить его на калорифер в приточку. Третий сказ случился, когда мы делали автоматику для системы технологического кондиционирования. Этот чудесный человек выполнил все беспрекословно. В приточных установках всегда есть нагреватель для уличного воздуха: либо водяной, либо электрический. Хорошо, что на объекте были кондиционерщики с МАПП газом — течь быстро спаяли. То есть взял и вкрутил саморез прямо в трубку водяного калорифера, со всеми отсюда (в прямом смысле) вытекающими.

Ссылки:

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть