Хабрахабр

PDU и все-все-все: распределение питания в стойке


Одна из стоек внутренней виртуализации. Заморочились с цветовой индикацией кабелей: оранжевый обозначает нечетный ввод по питанию, зеленый – четный.

Сегодня речь пойдет о “мелочах” – розетки в стойках, они же Power Distribution Unit (PDU). Мы тут чаще всего рассказываем про “крупняк” – чиллеры, ДГУ, ГРЩ. Сегодня расскажу, какие PDU бывают и что лучше выбрать в конкретной ситуации. В наших дата-центрах более 4 тысяч стоек, забитых ИТ-оборудованием, поэтому в деле я видел много всякого: классические PDU, “умные” – с мониторингом и управлением, обычные блоки розеток.

Какие бывают PDU

Простой блок розеток. Да, тот самый, который живет у каждого дома или в офисе.
Формально это не совсем PDU в смысле промышленного использования в стойках с ИТ-оборудованием, но и эти устройства имеют своих поклонников. Единственный плюс такого решения – дешевизна (стоимость стартует от 2 тыс. руб.). Еще они могут выручить, если используешь открытые стойки, куда стандартный PDU никак не впихнуть, а терять юниты под горизонтальный PDU не хочется. Это снова к вопросу об экономии.

Чаще всего размещаться они будут внизу стойки. Минусов сильно больше: у таких устройств не всегда есть внутренняя защита от КЗ и перегруза, мониторить показатели и тем более не получится управлять розетками. Это не самое удобное положение розеток для расключения оборудования.

В общем, “пилоты” можно использовать, если:

  • у вас тысячи серверов и вам нужно сэкономить,
  • вы можете себе позволить вслепую подключать оборудование, не понимая, что там происходит с реальным потреблением,
  • готовы к downtime оборудования.

Мы такое не используем, но у нас есть клиенты, которые достаточно успешно это практикуют. Правда, они строят инфраструктуру под свои сервисы таким образом, что отказ десятков серверов не сказывается на работоспособности клиентского приложения.


Дешево и сердито.


Вертикальное размещение.

У них соответствующий форм-фактор для размещения по бокам стойки, за счет чего к ним удобно подключать оборудование. “Тупые” PDU. Собственно, это классический PDU для использования в стойках с ИТ-оборудованием, и это уже хорошо. Мониторинга у таких PDU нет, а значит, мы не будем знать, какое оборудование сколько потребляет, и что вообще происходит внутри. Есть внутренняя защита. Таких PDU у нас почти не осталось, и в целом они постепенно уходят из массового использования.

рублей. Стоят такие PDU от 25 тыс.

Есть дисплей, куда выводятся основные показатели: напряжение, текущий ток и мощность. “Умные” PDU с мониторингом. У этих устройств есть “мозги”, и они умеют отслеживать параметры энергопотребления. К такой PDU можно подключиться удаленно, настроить отправку данных в систему мониторинга. Отслеживать их можно по отдельным группам розеток: секциям или банкам. Они пишут логи, по которым можно посмотреть все, что с ней происходило, например, когда именно выключилась PDU.

Еще они умеют считать потребление (кВт*ч) для технического учета, чтобы понимать, сколько стойка потребляет за определенное количество времени.

Это стандартные PDU, которые мы предлагаем своим клиентам в аренду, и таких PDU большинство в наших дата-центрах.

рублей за штуку. Если будете покупать, приготовьтесь выложить от 75 тыс.


График из нашего внутреннего мониторинга PDU.

Самые крутые PDU управляют и мониторят каждую розетку: можно включать/выключать, что бывает нужно в ситуациях, когда есть задача удаленно перезагрузить сервер по питанию. “Умные” PDU с управлением. К выше описанным умениям у этих PDU добавляется управление. Да, система дважды предупредит о последствиях, но практика показывает, что даже алармы не всегда защищают от необдуманных действий пользователя. В этом и прелесть, и опасность таких PDU: рядовой пользователь по незнанию может зайти в веб-интерфейс, что-то нажать и одним махом перезагрузить/выключить всю систему.

PDU обычно устанавливаются на задней части стойки, там, где идет выдув горячего воздуха. Большая проблема “умных” PDU – это перегрев и отказ контроллера и дисплея. PDU при этом не нужно менять целиком, контроллер можно поменять на горячую. Там жарко, и контроллеры не выдерживают.

рублей. Ну и по стоимости совсем кусаче – от 120 тыс.


PDU с управлением можно узнать по индикации под каждой розеткой.

В противном случае, нельзя будет отследить потребление и нагрузку. На мой взгляд, функция управления в PDU дело вкуса, а вот мониторинг – это must have. Почему это важно, расскажу чуть позже.

Как рассчитать нужную мощность PDU?

На первый взгляд, тут все достаточно просто: мощность PDU подбирается в соответствии с мощностью стойки, но есть нюансы. Допустим, вам нужна стойка 10 кВт. Производители PDU предлагают модели на 3, 7, 11, 22 кВт. Выбираете 11 кВт, и, к сожалению, вы будете не правы. Выбрать нам придется 22 кВт. Зачем же нам такой большой запас. Сейчас все объясню.

Во-первых, производители часто указывают мощность PDU в киловаттах, а не в киловольт-амперах, что более правильно, но не очевидно для обывателя.
Иногда производители сами вносят дополнительную путаницу:

Вот тут сначала говорится про 11 кВт,

А в подробном описании речь уже о 11000 VA:

Стойка на 10 кВт с чайниками будет потреблять 10 кВА. Если вы имеете дело с чайниками и подобными потребителями, то разницы между кВт и кВА не будет. В среднем по больнице для ИТ-оборудования можно брать 0,93–0,95. А вот если у нас ИТ-оборудование, то там появляется коэффициент (cos φ): чем новее оборудование, тем ближе этот коэффициент к единице. Вот формула, по которой мы получили 10,7 кВА. Поэтому стойка с 10 кВт с ИТ будет потреблять 10,7 кВА.

93=10. Pполн.= Pакт./Cos(φ)
10/0. 7 кВА

Зачем нам ПДУ на 22 кВт? Ну и вы зададите резонный вопрос, 10,7 – это же меньше 11. При распределении питания нужно учитывать этот момент и закладывать ~10% на колебания и скачки, чтобы в момент повышения потребления PDU не ушли в перегруз и не оставили без питания оборудование. Есть второй момент: уровень электропотребления у оборудования будет меняться в зависимости от времени суток, дня недели.


График потребления стойки 10 кВт за 4 дня.

Получается, что к имеющимся у нас 10,7 кВт мы должны прибавить еще 10%, и в итоге ПДУ под 11 кВт нам уже не подходит.

Фрагмент таблицы мощности конкретных моделей PDU по версии DataLine. С учетом перевода из кВа в кВт и запаса на скачки в течение суток.

Особенности монтажа

Удобнее всего работать с PDU, когда она крепится вертикально, слева и справа стойки. В этом случае она не занимает полезного пространства. Штатно в стойку можно установить до четырех PDU — два слева и два справа. Чаще всего ставят по одной PDU с каждой стороны. На каждую PDU приходит по одному вводу питания.


Стандартный “обвес” стойки — 2 PDU и 1 АВР.

Тогда на помощь приходят горизонтальные PDU. Иногда в стойке нет места под вертикальные PDU, например, если это открытая стойка. Единственное — в этом случае придется смириться с потерей от 2 до 4 юнитов в стойке в зависимости от модели PDU.

Такой тип PDU также используется, когда нужно разграничить двух клиентов в одной стойке.
Здесь PDU съела 4 юнита. В этом случае у каждого клиента будет отдельная пара PDU.

Здесь самое печальное не то, что часть розеток будет простаивать, а то, что если такая PDU сломается, то придется ее похоронить прямо в стойке, или же отключать и вытаскивать все мешающее оборудование. Бывает, что стойку выбрали недостаточно глубокую, и сервер торчит, перекрывая PDU.


Не делайте так — 1.


Не делайте так — 2.

Подключение оборудования

Даже самая навороченная PDU не поможет, если оборудование подключено неправильно и нет возможности мониторить потребление.

Немного матчасти. Что может пойти не так? Получается, у каждого PDU свой ввод. На каждую стойку приходят два ввода питания, в стандартной стойке два PDU. Чтобы эта схема работала, нужно соблюдать некоторые правила. Если с одним из вводов (читай PDU) что-то происходит, то стойка продолжает жить на втором. Вот основные (полный список найдете здесь):

В случае неполадок с одним из вводов или самим PDU, АВР переключает оборудование на здоровое PDU/ввод. Оборудование должно быть подключено в разные PDU. Если у оборудования один блок питания и одна вилка, то к PDU оно подключается через АВР (устройство автоматического ввода резерва), или ATS (Automatic Transfer Switch). Оборудование ничего не почувствует.

Для этого нужно оставлять запас: загружать каждый ввод меньше чем наполовину от номинальной мощности, а суммарная нагрузка на двух вводах была менее 100 % от номинала. Парная нагрузка на двух вводах/PDU. Резервный ввод спасет, только если он выдержит нагрузку упавшего ввода. Если у вас не так, то фокус с переключением на резерв не состоится — оборудование останется без питания. Только в этом случае оставшийся ввод выдержит двойную нагрузку. Чтобы не допустить самого страшного, мы мониторим этот параметр.

Обычно из 2 или 3 штуки. Балансировка нагрузки между секциями PDU. Розетки PDU объединены в группы — секции. Важно не превышать его и распределять нагрузку равномерно по всем секциям. У каждой секции свой лимит по мощности. Ну и тут также работает история с парными нагрузками, про которую говорили выше.

Подытожу

  1. По возможности выбирайте PDU c функцией мониторинга.
  2. При выборе модели PDU оставляйте запас по мощности.
  3. Монтируйте PDU так, чтобы была возможность заменить его, не беспокоя ИТ-оборудование.
  4. Подключайте правильно: подключайте оборудование к двум PDU, не перегружайте секции и помните о парных нагрузках.
Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть