Хабрахабр

Игры в тетрис, или что такое capacity management в дата-центре


Зал дата-центра NORD-4 в 2016 году.

Думаете, стойку можно поставить в любое место? Вот пустой машинный зал в дата-центре. Если бы все было так просто!

Сегодня расскажу, что правильно расставлять стойки в зале – это целая наука, а иногда и искусство. Меня зовут Алексей, я занимаюсь capacity management в дата-центрах DataLine.

Что такое capacity management?

У машинного зала в дата-центре три главных ресурса: место, электропитание и холод.
Все эти три ресурса должны расходоваться равномерно и заканчиваться одновременно. Собственно за этим и следит человек, занимающийся capacity management.

Если размещать оборудование как попало, то можем оказаться в следующих неприятных ситуациях:

  • электричество в зале полностью выбрано, а половина зала пустует;
  • зал забит стойками под завязку, электричества или холода едва хватает.

Почему же все так сложно? Дата-центр проектируется под стойки определенной мощности, размеров и схем охлаждения. Если мы размещаем в залах стойки с проектными параметрами, то проблем нет. Но в жизни так не бывает, особенно в коммерческом дата-центре. Оборудование приезжает самое разное: некоторые клиенты хотят разместить пару стоек по 20 кВт, другие – 100 по 5 кВт, третьи — 20 широких стоек по 800 мм, у четвертых — оборудование выбрасывает теплый воздух сбоку. Вот и превращается каждый запрос на размещение в небольшую оптимизационную задачу с тремя переменными: место, электричество и холод. Про них и поговорим дальше.

Про место

Это, пожалуй, самый негибкий параметр, поэтому каждый сантиметр на счету. Когда я так говорю, это означает, что все новые залы я замеряю рулеткой, чтобы сверить реальность с чертежами. Стал так делать, когда как-то при установке стоек выяснилось, что расстояние между опорными столбами оказалось на 1 сантиметр меньше, чем на плане. Тогда, чтобы втиснуться, пришлось разбирать обшивку столба.

Эта информация пригодится, если клиент захочет разместиться с забором, который идет от базового пола до самого потолка. На планах залов я дополнительно обозначаю все объекты под фальшполом, на стенах и сетевые лотки.

Это зарезервированное пространство рядом с  кондиционером, распределительным щитом и прочим оборудованием для его ремонта. На планах я также отмечаю зоны обслуживания инженерного оборудования. Стойки не должны залезать и, тем более, полностью находиться в зоне обслуживания.

Например, для кондиционера глубиной 900 мм зона обслуживания перед ним будет не менее 900 мм. Обычно зона обслуживания прописана по паспорту оборудования, но мы берем в качестве ориентира размер самого объекта. И так действительно приходилось делать. Так при необходимости мы сможем вытащить это оборудование из зала.

Непорядок.
Стойка, отмеченная красным, уже лишняя в ряду и залезает на зону обслуживания кондиционера.

Про электричество

Самое главное в этой части – не перегрузить имеющиеся мощности. Чтобы отслеживать нагрузку, нужно знать, что у нас есть по проекту, и вести учет устанавливаемых стоек. Это в теории, на практике у вас не всегда будут все вводные. Вот примерно такие могут быть ситуации:

Заполняем зал исходя их этих данных, ведем учет занятых и свободных мощностей, не допускаем их перегрузки. Зал пустой, на руках есть проектная мощность дата-центра/зала/стойки, от нее и отталкиваемся.

Узнаем, сколько они потребляют на текущий момент и сколько им позволено «съесть». Если вам достался уже частично заполненный зал и информации по занятым мощностям нет, сначала разбираемся с установленными стойками. Дальше сверяемся с проектной документацией: смотрим, сколько у нас в принципе мощностей. Например, стойка может потреблять сейчас 2 кВт, но при установке под нее зарезервировали 5 кВт, на вырост. После нехитрых вычислений понимаем, можем ли мы ставить стойки дальше; если да, то сколько и какой мощности.

Тут снова лучше начать с инвентаризации установленных стоек. Совсем плохо, когда в зале стоят стойки с оборудованием, документации нет, учетом никто не занимается. Идем к ИБП, смотрим его мощность по паспорту и что питает данный ИБП. Далее нам нужно понять, что у нас по проекту. Для простоты в примере рассмотрю 1 ИБП.

Вычитаем из этой мощности 10% про запас и работаем дальше с цифрой 405 кВт. Допустим, его мощность 450 кВт. В щите 4 автомата, каждый автомат – 1 ряд по 19 стоек. На распределительный щит приходит 405 кВт.  Дополнительно проверяем уставки на вводных автоматах ряда и распределительного щита ИБП. На ряд – 101,25 кВт. Если с уставками ничего не делали, то получается, что на стойку приходится 5,3 кВт. Уставки могут быть в меньшую сторону, и вместо 101,25 кВт может быть 90 кВт. Можно больше или меньше, главное каждый раз пересчитывать оставшуюся мощность. Это не означает, что теперь мы можем ставить стойки только по 5,3 кВт.

Столько же к стойке подходит со второго. Важно: 5,3 кВт — это мощность одного луча. Если один луч отвалится, то второй сможет взять на себя двойную нагрузку. Каждый луч должен быть загружен только наполовину от номинальной мощности.

Когда одна или две фазы перегружены, то возникает так называемый перекос фаз. Вместе с парной нагрузкой по лучам должна соблюдаться и парная нагрузка по фазам в распределительных щитах. Подробнее об этом коллеги писали в статьях про устройство и мониторинг электроснабжения в дата-центре. Это, как минимум, будет означать, что имеющаяся мощность используется не оптимально.

Про холод

Холод тесно связан с электричеством. Если стойка потребляет 5 кВт, то, грубо, она выделяет 5 кВт тепла. Мы обычно считаем, что если зал рассчитан на 500 кВт, то холодопроизводительность всех кондиционеров в этом зале должна быть тоже  500 кВт (плюс мощность одного резервного кондиционера). То есть запасы холода и электричества должны биться друг с другом.

Нестандартные стойки и оборудование

Когда нужно разместить стандартную стойку (ширина 600 мм, 42 юнита, 5 кВт), то поставить ее можно в любое место, где у нас есть электричество и холод. Нюансы возникают, когда в зал нужно установить высоконагруженные стойки (8–30 кВт).

У нас пустой зал, поставим ее в самом начале зала, рядом с кондиционером. Например, нужно поставить стойку 30 кВт.

Спокойно, у нас есть резервный. Теперь представим, что рядом выключился кондиционер. Но стойка 30 кВт генерирует целое облако тепла, которое просто так не рассредоточится по горячему коридору. Если бы это были обычные стойки по 5 кВт, то работающие кондиционеры спокойно растащили бы горячий воздух и оборудование ничего не заметило бы. Если он ломается, то горячий воздух начинает переваливаться в холодный коридор, снова попадает в оборудование. Важно, чтобы работал самый ближайший кондиционер. Оборудование спасут, но проблема с неудачным расположением стойки останется. Через минуты оборудованию в этой стойке станет очень тяжко, сработает мониторинг, стойке побегут помогать с помощью прогонных вентиляторов.

Если какой-то кондиционер умрет, то остальные смогут вытянуть горячий воздух от этой стойки (см. Эмпирическим путем мы выявили в зале зону, в которую можно ставить такие мощные стойки. схему).

 Зеленым – куда можно.
Красным отмечены стойко-места, куда нельзя ставить высоконагруженную стойку. Желтым – допустимо, но только в случае крайней необходимости.

Они не дают дополнительного холода и не спасут, если мощность по холоду уже выбрана, но помогают управлять потоками воздуха и улучшают КПД системы кондиционирования. В помощь системе охлаждения в стойках от 8 кВт мы используем вентдвери, вентплитки, изоляцию холодных коридоров.

Они не выпускают горячий воздух в горячий коридор и с помощью вентиляторов сразу направляют его наверх. Вентдвери устанавливаются на заднюю стенку стоек 8–11 кВт.


Вентдверь

Они дополнительно направляют поток холодного воздуха на оборудование. В стойках от 11 кВт к вентдверям добавляются активные вентплитки (перфорированная плитка с вентилятором). Вентплитки бывают умные: считывают показатели с датчиков на стойке и регулируют скорость вентилятора.

У этой даже дисплей небольшой есть
Это вентплитка.

Если у клиента два ряда мощных стоек, например по 15 кВт, то разумно изолировать его.


Изолированный холодный коридор

Не то чтобы это сильно нестандартно, просто наши первые дата-центры мы проектировали в основном под однофазные стойки с небольшим запасом для трехфазной нагрузки (10–15% от общей мощности). Часто клиенты привозят трехфазные стойки. Как можно догадаться из названия, трехфазный автомат в три раза больше однофазного, занимает больше места, и много таких не поставишь. Если клиенту была нужна трехфазная стойка, то просто ставили трехфазный автомат в резервной секции распределительного щита. Иногда у клиента было так много трехфазных стоек, что резерв в распределительном щите выбирался, и приходилось устанавливать дополнительные щиты.

Там электропитание распределяется по шинопроводу под фальшполом, и это позволяет ставить стойку любой фазности. В нашем самом новом дата-центре NORD-4 мы предусмотрели этот момент.


На шинопровод можно установить как однофазный, так и трехфазный автомат

Но бывает по-другому. Обычно оборудование забирает воздух спереди, из холодного коридора, и выбрасывает его сзади, в горячий коридор. Для такой стойки с помощью изоляции организовали филиал холодного коридора в горячем. Например, оборудование всасывает холодный воздух спереди и сзади, а горячий выдает вверх. Это не совсем по фэншую, но работает.


Для «нестандартного» оборудования в стойках 030 и 040 сделали изоляцию посреди горячего коридора

Мы установили это оборудование на стойку в 800 мм, чтобы холодному и горячему воздуху было где циркулировать. Есть оборудование, которое забирает воздух с одного бока и выбрасывает горячий воздух в другой бок. Пространство по бокам стойки изолировано, чтобы не было паразитного воздухообмена. Со стороны холодного коридора перед стойкой поставили блок организации бокового обдува: он забирает холодный воздух спереди и отводит его вбок и вверх.


Нижний юнит занимает тот самый блок организации бокового обдува

На заднем фоне видна изоляция от горячего коридора
С этого бока холодный воздух попадает в оборудование.


Слева от оборудования видна изоляция, которая не выпускает отработанный горячий воздух в холодный коридор.

Заборы

Вместе со стойками клиенты часто заказывают заборы для стоек, особенно банки. Их нужно располагать так, чтобы они не съедали много полезного пространства, а значит и стойки нужно расположить компактно, чтобы в итоге получалось что-то хотя бы отдаленно напоминающее прямоугольник. Но иногда получается, как на схеме ниже).

под фальшполом тоже есть забор) и до потолка, закрывая сетевые лотки. Обычно забор строится от капитального пола (т.е.


Чтобы попасть за забор, нужно приложить пропуск к датчику СКУД или палец к биометрическому сканеру


Забор раз


Забор два


Внутри забора размещают дополнительные камеры видеонаблюдения, а иногда и датчики объема


А вот забор со встроенной изоляцией холодного коридора, 2 в 1 так сказать

Инструменты capacity management

Чтобы следить за расходом места, электричества в машинных залах совсем необязательно использовать дорогие и модные системы DCIM (Data Center Infrastructure Management). Статистику по заполненности зала можно вести в обычном excel. Соберите там информацию по текущему состоянию зала (расположение стоек, их мощность, размеры) и дисциплинированно вносите туда информацию по изменениям: какие стойки добавились, какие съехали.

На выходе получится вполне рабочий инструмент, который поможет понять, куда, сколько и какие стойки можно установить в этом зале.

Задавайте вопросы, если что-то интересующее вас осталось за рамками поста. На этом заканчиваю свой краткий экскурс в capacity management.

Напоследок вот вам наглядная картинка того, как заполнялся зал в дата-центре OST-3 с момента запуска в эксплуатацию в 2014-м до сегодняшнего дня.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть