Хабрахабр

Полное погружение: как мы в Bitfury охлаждаем ASIC-чипы

Расскажем, как работает технология иммерсионного охлаждения оборудования в дата-центрах. Поговорим о нашем решении, разработанном совместно с дочерней компанией Allied Control, и приведем примеры других «жидкостных» способов «сбить температуру» у чипов.


/ Bitfury

Зачем нужны новые технологии охлаждения

Как пишут в журнале Nature, все дата-центры в мире потребляют порядка 200 ТВт·ч электроэнергии ежегодно. Это количество сравнимо с расходом электричества некоторых отдельно взятых стран, например Австралии. Также ЦОДы являются одним из главных загрязнителей окружающей среды. На них приходится 0,3% мировых выбросов CO2. Цифра кажется небольшой, но столько же углекислого газа «генерируют» самолеты всех авиакомпаний мира.

По этой причине многие компании разрабатывают технологии, которые должны сократить «расход» электричества и повысить эффективность систем кондиционирования. Почти половину потребляемой электроэнергии дата-центры тратят на охлаждение серверного оборудования.

Совместно с дочерней компанией Allied Control мы создали двухфазную иммерсионную систему охлаждения. Этим вопросом занимается и Bitfury. Она предназначена для работы в высоконагруженных ЦОД, потребляющих большие объемы электроэнергии во время обработки больших объемов данных (например, майнинговых фермах).

Это связано с тем, что печатные платы, предназначенные для охлаждения иммерсионным способом, не имеют радиаторов. Система потребляет меньше электричества и занимает меньше места, по сравнению с традиционными кондиционерами для охлаждения воздуха. Компоненты на них можно размещать более плотно.

Такие системы охлаждения помогают ЦОД предоставить сотрудникам более комфортные условия для работы. Так как серверы (в нашем случае ASIC-чипы) погружены в жидкость, дата-центр становится практически бесшумным. Это одно из крупнейших внедрений иммерсионного охлаждения в настоящее время. Иммерсионное охлаждение внедрено в нашем дата-центре мощностью 45 МВт в Грузии. Мы подготовили короткое видео, в котором рассказываем о возможностях системы охлаждения:

Как работает решение

Серверное оборудование помещается в большие резервуары, похожие на аквариумы. Они заполнены специальной жидкостью 3M Novec 7100. Она не проводит электричество, не горит, не выделяет токсинов и не наносит вреда серверам. По этой причине жидкости бренда 3M еще называют «сухой водой».

Микросхемы нагреваются и выделяют тепло, жидкость Novec закипает и превращается в пар. Охлаждение оборудования происходит в два этапа. Испарения поднимаются к змеевику конденсатора, который имеет форму цилиндрической пружины.

Затем наступает вторая фаза — змеевик (сам он имеет водяное охлаждение) превращает пар в жидкость, и она стекает обратно в резервуар. Процесс конденсации занимает очень мало времени, так как Novec 7100 кипит всего лишь при 61°C. Такой подход позволяет экономить до 95% энергии с минимальными потерями жидкости.

«Холодильная система» сама выполняет роль стойки и эффективно справляется с 40 мегаваттами вычислительной мощности (252 кВт на стойку) без чрезмерного расхода электричества. Новая система охлаждения позволяет снизить коэффициент PUE дата-центра до 1,02 и повысить плотность размещения оборудования — для охлаждающих установок не нужно выделять дополнительные площади.

Альтернативные способы охлаждения

Как мы уже говорили, разработка систем иммерсионного охлаждения занимаются многие мировые компании. Одной из популярных технологий является погружение оборудования в минеральное масло, которое удаляет излишки тепла. Например, такое решение используют в компании Green Revolution Cooling. В качестве теплопроводящей жидкости они применяют прозрачную смесь минеральных масел ElectroSafe. По словам авторов проекта, такой подход в тысячу раз эффективнее охлаждения воздухом, а мощность системы достигает 100 КВт на стойку.

В нашей системе циркуляция «сухой воды» происходит пассивно, за счет тепла, выделяемого при работе ASIC-чипов. Принцип работы масляных установок похож на тот, что используем мы в Bitfury, только для отведения тепла здесь требуются дополнительные насосы для перекачки хладагента (масло более вязкое, чем вода).

Но бывают и подходы, когда дата-центр затапливают целиком, погружая в океан. В этом случае вода поступает к радиаторам на чипах через специальные трубки и удаляет излишки тепла. Отработанная жидкость поступает обратно в водоем. Однако значительного вреда экосистеме это не наносит — вода вокруг погруженного дата-центра нагревается всего на несколько тысячных градусов Цельсия.

Он проработал без перебоев 105 дней. Первый прототип такого ЦОД «затопили» в Тихом океане пять лет назад недалеко от побережья Калифорнии. Погружение проходило недалеко от Оркнейских островов, расположенных в 16 км от Шотландии. В этом году компания отправила «на дно» второй экспериментальный дата-центр. Если всё пройдет удачно, под воду уйдет уже «боевой» дата-центр, который используют для решения реальных задач. По плану, ЦОД должен проработать пять лет.

Также такой ЦОД подвержен коррозии и атакам морских обитателей. Главный недостаток подхода — сложность ремонта и обновления инфраструктуры. Но компания работает над устранением этих проблем.

Тренд уже наметился, и со временем он будет развиваться все сильнее. Мы убеждены, что из-за роста цен на электроэнергию и необходимости внедрения новых «зеленых» технологий в будущем все больше компаний начнут внедрять системы иммерсионного охлаждения.

S. P. Наш первый хабрапост на английском: How Exonum Shifted from Iron to Actix-web.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть