Хабрахабр

[Из песочницы] История сборки «деревенского суперкомпьютера» из запчастей с eBay, Aliexpress и компьютерного магазина. Часть 1

Доброго дня, дорогие Хабровчане!

Их «штатный специалист» уволился и тему повесили на самого «близкого специалиста». Хочу поведать вам долгую и как я надеюсь увлекательную, а может быть и ставшую кому-то полезной историю сборки «деревенского суперкомпьютера» из платы ноды сервера Dell, GPU Nvidia Tesla K20 и того что было куплено то тут, то там по всяким интернет магазинам или в компьютерных магазинах своего города.
История началась с того, что мой друг-программист, который заодно еще и астроном — занялся изучением нейросетей. Работаю я к сожалению в другой области. Я сам не программист, всего лишь «радиомеханик по ремонту вычислительной техники(с)мой диплом», потому сборка всяких интересных компьютерных железок для меня интересное и приятное занятие.

Сначала была достаточно наивная идея «собрать 4-way SLI на GTX 580 3Gb» которая постепенно трансформировалась в понимание — собирать нужно сервер! Чтобы более четко сформулировать задачу я создал тему на форуме «Железные призраки прошлого» где она достаточно долго обсуждалась. Цены на материнские платы серверов безбожно кусались, пока я не наткнулся на Youtube на интересное видео про запуск китайской серверной платы на 2-х процессорах нестандартного формата.

Вот это видео:

Особенно меня в этом видео порадовала бюджетная цена системы.

И я стал искать на Авито варианты с серверными платами Dell. Однако консультация с более сведущими товарищами, которые имели дело с китайскими серверами убедили меня — «Китайское счастье нам не надо!» По их отзывам китайские серверы были просто чудовищно ненадежны. Очень надежная техника. У меня два ноутбука этой фирмы и от них только положительные впечатления.

А там нашлась ссылка и на американский форум, где на таких платах собирали мощные рабочие станции. На Авито была найдена плата ноды сервера Dell PowerEdge C6220 в процессе общения с продавцом которой — он подсказал мне отличный сайт, где была публикация о том как один умелец запускал такую плату, вот ссылка. Эта тема вот тут.

Задача была сформулирована так — «Собрать двухпроцессорный сервер на плате ноды Dell PowerEdge C8220 с GPU Tesla K10 или K20». Прочитал всю тему от начала и до конца я определился с целями, задачами и путями их достижения. Чему он собственно сильно обрадовался. Выбор на специализированные GPU пал после обсуждения с человеком для которого система собственно и собиралась — имея «карты» могущие вести длительные вычисления с двойной точностью и контролем ошибок памяти ЕСС он мог использовать их для своей научной деятельности, а не только для обучения нейросетей.

Желающие могут ознакомиться. Для обсуждения и запечатления для истории процесса сборки на форуме «Железные призраки прошлого» я создал соответствующую тему, где собственно и писал о процессе и выкладывал фотографии.

В то время когда все началось у меня еще не было регистрации на eBay и по началу нужные запчасти покупали мои друзья, которым я оплачивал расходы на покупку и пересылку. Задача была поставлена и я занялся поиском компонентов. Не все нужные запчасти напрямую шлют из США в Россию.
Первой с еВау была куплена материнская плата Dell PowerEdge C8220 0083N0. Позднее я и сам там зарегистрировался и стал покупать напрямую, хотя иногда приходится просить помощи тех у кого есть аккаунты на Шопотаме и подобных сервисах. 2 имея 3 слота PCI-E 16x. По документации Делл она относилась к версии плат 1. Два обычных около кнопки включения питания и третий на другой стороне платы нестандартный, под так называемый GPGPU-райзер который включался в так называемый Edge Slot.

Фото платы, той самой 0083N0, фото с eBay.

image

А это уже мое фото, к плате приложена линейка для осознания масштаба.

image

К тому времени ко мне приехал и райзер для GPGPU в тот самый Edge Slot.

Вот фото где он подключен на пробу на свое штатное место.

image

Их на еВау продают два вида, на 12 и на 18 пин. Одновременно на eBay был куплен адаптер питания, с АТХ на этот разъем питания С6100. И конечно ответная колодка «мама» в разъем чтобы установить нужную для запуска платы перемычку и вывести с нее сигнал PS_ON. Нам нужен последний, и еще DC-DC повышающий чтобы превратить +5VSB от АТХ БП в +12VSB сервера Dell. 0 мм. Кстати она с нестандартным шагом контактов 2. Конечно отчаянные парни могут выткать отвертку или гвоздь прямо в разъем платы, но я предпочел сделать все культурно.

Кулеры по первости я использовал Alpine 20 Plus C0 для LGA 2011 которые пришлось доработать — были подпилены болгаркой из края которые упирались в слоты памяти, с винтов креплений были сняты пружинные шайбы, а на резьбы навинчены по паре гаек — чтобы не вкрутить винты слишком глубоко и не проломить плату. Кроме того для пробного запуска платы с Алиэкспресса были куплены самые дешевые Xeon E5-2604 V1 и с еВау — пара планок памяти DDR3 ECC REG которые продавались как совместимые с Dell PowerEdge C8220. Кстати кулеры неплохо работали, несмотря на то что чисто алюминиевые. Серверные сокеты LGA 2011 устроены несколько иначе чем обычные и у винтов радиаторов там резьба должна быть короткой.

И вот, наступил тот момент когда приехали процессоры, установку их я запечатлел на фото на память.

image

image

image

А вот и установлены те самые алюминиевые кулеры Alpine.

image

Собранная и запущенная система.

image

Рядом с ним два 10Gbe-порта которые работают по обычной витой паре «меди» и вполне поддерживают обычную 100/1000 сеть. К системе был подсоединен мой старый верный блок питания Чифтек 550 Вт, USB-хаб на 4 устройства в который были включены клавиатура, мышка и флешка с Ubuntu, к разъему для USB-картридера на плате был подключен картридер в который я воткнул китайскую USB звуковую, еще подключил VGA-монитор и патчкорд к порту IPMI 100 мбит, который обозван Delicated-NIC.

В таком виде система была запущена и оказалось что плата при запуске во первых очень долго проверяет память, а во вторых в заставке BIOS назвала себя Dell DCS 6220.

На этом первую часть своего повествования я закончу чтобы не утомлять благодарных читателей.

Показать больше

Похожие публикации

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»