Хабрахабр

В информационных технологиях есть своя особая атмосфера

Представьте себе человека, ночью выбегающего с криками из офисного центра и начинающего ломать бордюр. Женя раскачал камень ногами, оторвал его и занёс на руках назад в здание.

Дело в том, что мы оснащали серверный узел в здании (маленький ЦОД на 20 стоек) серверами. Этим наш дорогой коллега решал одну ИТ-проблему. Это оттого, что рядом поставили блоки ИБП, по 20 килограмм на юнит. Во время работ фальшпол начал гнуться — медленно так, с треском и вообще как в фильмах ужасов. Не проверив допуски.

Это не особо помогло. Чтобы не было эффекта домино, Женя принял решение повытаскивать батарейные блоки. Ещё через час приехала команда подрядчиков, строивших этот ЦОД, с примерно 30 домкратами из автомагазина для ремонта. Но с помощью бордюрного камня удалось чуть замедлить процесс. Со своими есть более точный термин — «клоунада».
Три недели переделывали, только потом мы смогли продолжить.
В общении с иностранными коллегами мы описываем это как surprisingly amazing.

Кондиционеры

До того, как начать работать как ключевой ПМ в крупных интеграционных проектах, я работал в аутсорсинге. Наши команды пополам с инженерами стояли на страже реальности и здравого смысла. В смысле мы были чаще всего второй или третьей линией ИТ-поддержки там, где нет своих ИТ-специалистов.

До третьей линии может доехать только реально интересная заявка.

Ломается кондиционер на серверном узле одной крупной компании. Пример. Бегают потные люди в пиджаках и очень нервничают. Начинает расти температура в помещении. Оборудование выключать нельзя — инструкция сверху. До термал шатдауна остаётся около трёх часов. Кажется, на нём считается что-то важное для государства.

Мы прибегаем с кондеями, бросаем рукава — начинаем гнать холод. Несёмся в магазин, возвращаемся с кучей «пингвинов» (напольных кондиционеров), в это время ещё двое берут болгарку и делают из стены новую дверь сразу наружу. В тот раз пронесло.

Он сломался. Более частый случай, наверняка знакомый каждому в аутсорсинге, выглядит так: условно 6 лет назад поставили кондёр. У нас нет сервиса, запчастей, и вообще мы хотим это развидеть. Приходишь к вендору, вендор говорит: уважаемые коллеги, нам вас искренне очень жаль, но такого кондиционера не существует в природе. Он говорит: ок, давайте запчасть, надо менять узел. Находим телефон мастера по ним не от вендора. Да, мы очень далеко от Москвы. Запчасти нет — смотри рисунок 1. На следующий день мы нашли контору, которая ремонтирует моторы, два дня меняли обмотку, дальше совместно монтировали. В итоге три человека в пиджаках реально разбирали кондиционер руками. А на ответной части она другого цвета. При первом запуске снова сожгли, потому что не наша тема вообще — не записали всю цветовую кодировку, а только одну сторону. Коротнуло. Мне до сих пор стыдно. Шесть дней была открыта серверная, стоял охранник на входе и дежурил, чтобы никто не пролез. Повторили ту же операцию. После таких случаев чувствуешь себя странно — вроде и спас заказчика, и он счастлив, но как-то всё не так. Зато починили, иначе бы там всё встало.

Но мы уже всё сделали без КЗ. Через год история повторилась почти один в один: приехали на объект смотреть софт, а там навернулся кондиционер.

Грузчики

Поставка оборудования в одно крупное учреждение утром в субботу — отправили грузчиков. Звонок:
— Здравствуй! Ты кого мне прислал?
— В смысле? Железо верное же?
— Железо верное.
— А в чём дело?
— А заносить кто будет?
— Так там же грузчики?..
— Мы у них документы проверили. Всё, нет больше у тебя этих грузчиков. Нашёл куда нелегальных мигрантов слать.

Руководитель логистической компании очень обижался потом и говорил, что идиоты тут мы, потому что неверно сформулировали техническое задание.

Коммуникации

После одной истории у меня до сих пор сохранилась привычка читать маркировки труб. Дело в том, что у них прямо через машзал шла неприметная такая тёмная труба. Ну идёт и идёт, чёрт бы с ней. А потом её прорвало. Оказалось, это не просто коммуникация, а очень важная коммуникация — фановая труба. Что ещё хуже, её фановое содержимое вытекло на машины IBM Z-серии (IBM eServer zSeries). Очень хочу отметить, что они для таких условий эксплуатации не предназначены. Но инженеров IBM всё же вызвали. Как всё это чистилось и как эти машины до сих пор работают — это целая группа баек, которые до сих пор ходят по рынку. Жаль, коллеги это в рекламу включить не могут.

Там китайцы строили что-то этажом выше в большом здании. Второй известный случай был уже в другой компании. И вот китайский подрядчик случайно расколол ванную. На первых этажах офисы, выше живут люди. Естественно, ванная комната была ровно над серверным узлом. И залил в хлам весь офис внизу.

Фауна

Одни коллеги рассказывали, что у них довольно много оборудования и везде лежит очень вкусный кабель… Для крыс. Надо постоянно смотреть, что именно было прогрызено. Один раз мы разбирали коммуникации перед приёмом площадки. В современных ЦОДах крысам жить особо негде, а вот в старых зданиях нет-нет да найдутся. И довольно здоровые.

Они часто склёвывают разные детали радиооборудования. Очень много проблем у них было с птицами на дальних объектах — всё то, что блестит, притягивает их внимание. Слышал, в Москве монорельсовая дорога испытывала подобные сложности: высоко, блестящая, они её покрывают ровным слоем удобрений.

Поставка СХД

Поставляли 2 системы хранения данных. В ценах это было 190 миллионов рублей за две стойки. Их заносили через улицу. Разгрузили на паллетах. Чтобы занести в серверное помещение, надо было открыть с улицы дверь. Безопасники, естественно, всё заперли и не пускали. Отдавали ключ долго. А снаружи зима. В окно наблюдаем прекрасную картину: подходят парни в оранжевых спецовках на крышу и начинают с неё сбрасывать наст. Прямо на паллеты. Безопасников это как-то сразу убедило.

Выезды

Был у меня один коллега, который пришёл с утра в офис в шортах. В это время на севере у нас кое-что потребовало замены. Его каким-то чудом уговорили слетать на денёк до вечера: утром туда, починить, потом сразу обратно — и к позднему ужину уже дома в Москве. Туда он долетел нормально, а там ударила снежная буря. Две недели сидел без белья, без зубной щётки, без нормальной суммы наличных. Ему продлевали гостиницу, закидывали денег на карту на еду. Думаю, каждый из нас так застревал, но ему по неопытности повезло меньше всех. У нас заранее собранные чемоданчики для выездов есть.

Мы согласовали даунтайм, дождались конца недели, должны были прийти и кое-что перепрошить. В одном южном городе нас не пустили на объект в субботу. Оказалось, что там были ремонтники, которые ремонтировали это здание. А нас просто не пустили в здание. За неделю до даунтайма один из них напился и зарубил двух своих собутыльников топором. На выходных они оставались внутри. Руководство приняло управленческое решение: чтобы не допустить повторения трагедии, запрещено находиться в здании в выходной день.

Скворечник

Возвращаясь к истории про фальшпол и бордюрный камень: через несколько лет встретили немецкое решение для изолированных ЦОДов в старых зданиях. Они делают фундамент, потом металлическую опору до нужного этажа (у нас был третий) и на ней монтируют платформу с ЦОДом в контейнере. Получается основание до земли со своим фундаментом. Даже если здание разрушится, «скворечник» останется. Почему вспомнил: знаю я одно здание, которое сначала кое-кто купил, а потом понял, что надо все колонны арматурой обвязывать и новые опоры добавлять, чтобы можно было ЦОД поставить.

Мониторинг температуры

Вот история, где прекрасно всё. Итак, здание. В нём не было централизованного мониторинга по температуре. После проблем с кондиционерами начали смотреть. Но как! Была дежурная смена. Такие женщины — задача была увидеть проблему и сообщить. Они ходили с чеклистом и проверяли всё оборудование. Смотрели за утечками жидкостей, записывали показания термометров. Раз в час обходили серверные помещения. Руководство ждало внедрения мониторинга. А у нас один инженер часто ночью оставался. Очень спортивный мужик. Так вот, он ходил в кроссовую делать зарядку, там было просторно, но жарковато. И вот 4 утра. Полуспящая пожилая женщина с блокнотом в руках открывает дверь кроссовой, а ей навстречу прыгает полуголый мужик с криком: «Кия!»

Возвращаясь к особой атмосфере русских ИТ

Дискеты изобрели в 1967 году. В 71-м вышла первая коммерческая партия. 8-дюймовых. В 76-м появились 5,25 дюйма. В 81-м — привычные нам 3,5 в жёстком конверте. В 2011-м Sony (крупнейший производитель) полностью прекратила выпуск дискет. В 2014-м Toshiba перепроектировала завод по выпуску дискет в овощную ферму. В 2016 году Пентагон заявил о прекращении использования восьмидюймовых дискет. Сейчас на дворе 2018 год, и у нас на пороге зимой появился заказчик, который спрашивал, будет ли при переезде в облако в этом самом облаке дисковод 5,25. Мы могли бы посмеяться, но он до этого подробно расспросил нас про совместимость нашего объектного хранилища с Amazon S3 API и задал правильные вопросы про инфраструктуру. Поэтому мы очень аккуратно поинтересовались, чем вызван такой вопрос.

Ему нужен был ключ на дискете. Они использовали очень старый софт. На случай выхода из строя этой системы у них был ISO дискеты, но на попытки его подмонтировать система плевалась. Ещё до появления Facebook они сделали несколько ключей на этих дискетах, купили дисководы и постарались как можно реже перезагружать сервер. Запустилось. Мы было решили, что дело в записанной ценной информации в резервную область (так иногда делали защиту в те годы), но нашли правильные драйвера и презентовали ISO виртуальной машине. Теперь дискета никогда не сломается, а софт продолжит работать, завёрнутый в два гипервизора.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть