Хабрахабр

[Перевод] Монстры после каникул: AMD Threadripper 2990WX 32-Core и 2950X 16-Core

Часть 1>> Часть 2>> Часть 3>> Часть 4

Новый стек продуктов AMD

Полцарства за высокую производительность. Когда дело доходит до обработки данных, пропускная способность становится ключевым фактором: ведь чем больше пользователь успеет сделать, тем больше проектов будет выполнено, соответственно и число контрактов возрастет. Пользователи рабочей станции часто вычисляют узкие места в системе и любят бросать ресурсы на решение проблемы, будь то ядра, память или ускорение графики. Threadripper второго поколения, известный как Threadripper 2, выходит за старые пределы соотношения ядер и цены: 2990WX предоставляет 32 ядра и 64 потока всего за $ 1799. Существует еще 2950X с 16 ядрами и 32 потоками, он то и задает новый минимум цены в $ 899. Мы проверили оба.

Обзор AMD Threadripper 2990WX 32-Core и 2950X 16-Core

С тех пор, как AMD выпустила свой первый Ryzen первого поколения с восьмью ядрами против четырех ядер Intel, начали вестись долгие обсуждения на тему, какое количество ядер имеет смысл быть. Ответ на этот вопрос полностью зависит от рабочей нагрузки: сколько различных инструментов пользователь предполагает использовать одновременно. Так как рынок workstation охватывает широкий круг «разношерстных» пользователей (и, несмотря на потребность в скорости) предоставить единый, удобный для всех вариант просто нереально.

Ранее доступные только на серверных платформах, новые компоненты были оценены как ну очень конкурентоспособные против 10-ядерных предложений. Первое поколение Threadripper от AMD, выпущенное в 2017 году, принесло в массы 16-ядерные процессоры. AMD использовала свою серверную платформу с небольшими твиками, чтобы атаковать конкурентов и их лидера Halo.

После запуска своей новейшей высокопроизводительной десктоп платформы, имеющей до 18 ядер, Intel запустила серию Xeon W, заменив компоненты E5-W от предыдущего поколения. Собственные workstation продукты Intel, ранее именуемые E5-2687W и опирающиеся на двух-сокетные сервера, были, попросту говоря, серверами. До 18 ядер за ~ 2500 долларов, хотя для их использования требовались специальные чипсеты и материнские платы.

Новые процессоры врываются на рынок крайне агрессивно: предлагая улучшенную микроархитектуру Zen +, получаем 3% прироста производительности IPC; используется 12 нм техпроцесс, что в свою очередь увеличивает частоту и уменьшает потребляемую мощность. Сегодня AMD официально выпускает в продажу второе поколение Threadripper. Мало того, что 12 и 16-ядерные процессоры заменены новыми моделями Zen + на более высоких частотах, компания предлагает 24 и 32 ядра в процессоре стоимостью до 1799 долларов. AMD атакует рынок количеством ядер! 32 ядра за 1799 долларов против 18 ядер за почти 2500 долларов — хороший удар по конкурентам, не так ли?

Как AMD поддерживает 32 ядра

Чтобы называться 32-х ядерным процессором, серверная процессорная линейка первого поколения от AMD, называемая EPYC, использует четыре кремниевых матрицы по восемь ядер каждая. Эти компоненты имеют восемь каналов памяти и 128 дорожек PCIe 3.0 для различных целей. При выпуске первого поколения Threadripper, AMD отключила две из этих кремниевых матриц, давая только 16 ядер, четыре канала памяти и 60 линий PCIe. Конечный продукт был ориентирован на розничных потребителей.

Он слегка обрезан для совместимости с первым поколением: четыре канала памяти и 60 дорожек PCIe. Чтобы предоставить пользователям 32 ядра, AMD использует тот же 32-ядерный кремний EPYC, но обновляет его до Zen + на 12 нм для более высокой частоты и меньшей мощности. Такой подход легко объясняется сегментированием продукта. Хотя AMD позиционирует продукт как обновленный процессор первого поколения с большим количеством ядер, а не урезанный серверный вариант. Это тактика, которую обе компании уже использовали для вывода на рынок расширенной линейки продуктов.

Для любого пользователя, который озадачен вычислительной мощностью, а не памятью или PCIe, продукт AMD — лучшее решение. В результате один из способов восприятия новых 32- и 24-ядерных чипов второго поколения — двухмодульный: половина чипа имеет доступ к полным ресурсам, аналогично продукту первого поколения, в то время как другая половина чипа дублирует те же вычислительные ресурсы, но имеет дополнительную задержку памяти и PCIe по сравнению с первой половиной.

В нашем обзоре мы увидим, что это бимодальное построение имеет значительное влияние на производительность, как хорошее, так и плохое, все опять-таки зависит от вида рабочей нагрузки.

Новый стек AMD

Официально AMD выходит на рынок с четырьмя процессорами второго поколения Threadripper. Два из них напрямую заменят продукты первого поколения: 16-ядерный 2950X на смену 16-ядерному 1950X, а 12-ядерный 2920X — 12-ядерному 1920X. Два новых процессора не будут двухмодульными, только два из четырех кристаллов кремния на упаковке активны (16-ядерная конфигурация выглядит как 8 + 0 + 8 + 0, 12-ядерная как 6 + 0 + 6 + 0). В нижней части стека будет располагаться первое поколение 8-ядерного (4 + 0 + 4 + 0) 1900X, которое предлагает четырехканальную память и 60 линий PCIe.

Они будут включать четыре ядра на комплекс (8 + 8 + 8 + 8) и три ядра на комплекс (6 + 6 + 6 + 6) соответственно, имеют уже описанную двухмодульную природу памяти и PCIe. Два новых процессора представлены 32-ядерным 2990WX и 24-ядерным 2970WX. Это ставит продукт в одну маркетинговую линию с семейством Radeon Pro WX. Брендирование изменяется, теперь это WX, предположительно для «Workstation eXtreme».

Частота простоя этого процессора составляет 2,0 ГГц. AMD Ryzen Threadripper 2990WX — это новый супер-продукт с 32 ядрами и 64 потоками, с базовой частотой 3,0 ГГц и верхней частотой турбонаддува 4,2 ГГц. 0 ГГц на каждом ядре без нагрузки. При тестировании мы видели 2.

С теми же частотами, как и у 2990WX, и с теми же TDP, линиями PCIe и поддержкой памяти, этот процессор будет запущен в октябре по цене $ 1299. Другим продуктом серии WX является 2970WX: отключает одно ядро на один комплекс, и в общей сложности предлагает 24 ядра. При меньшем количестве загружаемых ядер можно ожидать, что этот процессор будет работать в турбо чаще, чем большой 32-ядерный брат.

Процессор в полной мере использует быстрые частоты, которые может дать новый 12-нм процесс: базовая частота 3,5 ГГц и турбо 4,4 ГГц ставят продукт предыдущего поколения на колени. Что касается серии X, TR 2950X — 16-ядерная замена. Немалое преимущество по сниженной цене: вместо $ 999 пользователи теперь могут получить 16-ядерный процессор за $ 899. Фактически, 2950X похож на хорошо разогнанный AMD Ryzen. 2950X выйдет в конце месяца, 31 августа.

Как и в случае с 2950X, частоты хорошо повышены по сравнению с прошлым годом, базовая частота 3,5 ГГц и турбо 4,3 ГГц. И напоследок упомянем 2920X, пришедший на замену 1920X, и предлагающий те же улучшения, что и прочие процессоры линейки. 2920X выйдет в октябре, за розничную цену в $ 649. Вся эта красота в пакете с тепловым дизайном 180 Вт.

Ядрышко к ядрышку, или компромиссы дизайна

Подход AMD к этим крупным процессорам состоит в том, чтобы взять небольшую повторяющуюся единицу, такую как 4-ядерный комплекс или 8-ядерный кристалл кремния (который включает два комплекса), и поместить несколько в один процессор. «На выходе» необходимое количество ядер и потоков. Среди плюсов — получается множество реплицированных блоков, таких как каналы памяти и полосы PCIe. Минусом же является то, каким образом эти ядра и память должны общаться друг с другом.

Скорость обмена между ядрами и контроллером памяти обычно довольно низкая, а механизм маршрутизации (кольцо или сетка) может определять пропускную способность, латентность и масштабируемость. В стандартной монолитной (одиночной) конструкции кремния каждое ядро ​​находится на внутреннем интерконнекторе с контроллером памяти и может перейти в основную память с низкой задержкой. Конечная производительность обычно является компромиссом между перечисленными факторами.

Она известна как дизайн NUMA. В конструкции с несколькими кристаллами, в которой каждый штамп имеет доступ не только к определенной памяти локально, но и к другой памяти с помощью прыжка, мы сталкиваемся с неравномерной архитектурой памяти. Потому программное обеспечение должно быть «NUMA-aware», чтобы оптимизировать как задержку, так и пропускную способность. В таком случае производительность может быть ограничена этой аномальной задержкой памяти. Не нужно забывать, что дополнительные переходы между матрицей и контроллерами памяти забирают определенную вычислительную мощность.

Если требуемые данные находились в памяти, локальной к другому кремнию, необходим был прыжок. Мы сталкивались с этим ранее в первом поколении Threadripper (наличие двух активных кремниевых матриц в пакете). Со вторым поколением Threadripper этот прыжок становится намного сложнее.

Каждая матрица имеет прямой доступ к 32 дорожкам PCIe и двум каналам памяти, которые в сумме дают 64/4 полосы PCIe и четыре канала памяти. Слева находится дизайн 1950X / 2950X с двумя активными кремниевыми матрицами. В свою очередь ядра, которые работают с памятью / PCIe и подключены к своей матрице, работают быстрее, чем при использовании ресурсов, подключенных к другой матрице.

Для этих ядер не существует «локальной» памяти или подключения: каждый доступ к основной памяти требует дополнительного перехода. У 2990WX и 2970WX два «неактивных» кремния включены, но не имеют дополнительно прямого доступа к памяти или PCIe. Кроме того, есть дополнительные интерконнекторы от матрицы к матрице на базе AMD Infinity Fabric (IF), которые потребляют энергию.

Если у двух других матриц включить локальные память и PCIe, потребуются новые материнские платы и устройства памяти. Причина, по которой эти дополнительные ядра не имеют прямого доступа, кроется в платформе: платформа TR4 для процессоров Threadripper использует четырехканальную память и 60 слотов PCIe.

Вполне вероятно. Пользователи могут поинтересоваться, а не можем ли мы изменить дизайн, чтобы каждый кристалл кремния имел один канал памяти и один набор из 16 PCIe-полос? Микропрограммное обеспечение ожидает два канала памяти на каждый кремний, кроме этого, есть причины, связанные с электропитанием. Однако платформа несколько ограниченна тем, как управляются штифты и трассы на сокетах и материнских платах. Этот факт окажет серьезное влияние на производительность, поэтому имейте это ввиду, когда доберемся до тестов.
Стоит отметить, что это второе поколение Threadripper и серверной платформы AMD, EPYC, являются братьями. Нынешние материнские платы на рынке попросту не настроены таким образом. Они оба имеют одинаковую компоновку процессора и сокета, но у EPYC включены все каналы памяти (восемь) и все полосы PCIe (128):

Процессор требует большей мощности, но предлагает более однородную конфигурацию трафика от ядра к сети. И если Threadripper 2 теряет в производительности из-за наличия нескольких ядер без прямого доступа к памяти, то EPYC имеет доступную прямую память.

AMD подтвердила, что по большей части планировщик сначала загрузит ядра, которые непосредственно привязаны к памяти, прежде чем использовать другие ядра. Возвращаясь к Threadripper 2, важно понять, как будет загружаться чип. В приоритете те, которые ближе всего к памяти. Выходит, что каждое ядро имеет «вес» приоритета, основанный на производительности, термических показателях и мощности. Приоритет ядер снижается по мере того, как они заполняются, из-за тепловой неэффективности.

Precision Boost 2

Точные турбо-тайминги для каждого нового процессора теперь будут определяться функционалом масштабирования частоты напряжения AMD с помощью Precision Boost 2. Эта функция, которую мы подробно рассмотрели в обзоре Ryzen 7 2700X, опирается на доступную мощность для определения частоты, вместо дискретной справочной таблицы напряжений и частот, основанной на нагрузке. В зависимости от начальных возможностей системы, частота и напряжение будут динамически сдвигаться, чтобы использовать больше потенциальной мощности, доступной в любой момент нагрузки процессора.

Процессор может использовать больше мощности, чем позволяет фиксированная таблица поиска, которая должна подходить для всех процессоров данной модели.

Если есть дополнительный тепловой бюджет, предоставляемый хорошим кулером, процессор может использовать больше мощности до достижения теплового предела, и получать дополнительную частоту. Precision Boost 2 работает в сочетании с XFR2 (eXtreme Frequency Range), который реагирует на доступный температурный запас. Продемонстрировать этот «плюс», запустив Threadripper 2 в середине жаркого периода в Европе, AMD было сложно. AMD утверждает, что хороший кулер в условиях прохладной окружающей среды может повысить вычислительную мощность более чем на 10% на некоторых тестах, благодаря применению технологии XFR2. Скандинавский обзор может показать лучшие результаты, чем обзор из тропиков. Европа известна игнорированием кондиционеров во всем мире, а когда температура окружающей среды превышает 30ºC, увеличение производительности ограничено.

С таблицей турбо производительность жестко привязана к характеристикам каждого элемента кремния, что делает потребляемую мощность единственной градацией. В конечном итоге это усложняет тестирование Threadripper 2. С PB2 и XF2 никакие два процессора не будут работать одинаково.

К счастью для нас, мы провели большинство наших тестов в кондиционированном отеле, благодаря Intel Data-Centric Innovation Summit, который проходил за неделю до запуска процессоров.

Precision Boost Overdrive

Новые процессоры поддерживают функцию Precision Boost Overdrive, которая охватывает такие ключевые области как «power», «thermal design current» и «electrical design current». Если какая-либо из этих трех областей будет «демонстрировать» неиспользованный потенциал, система попытается повысить как частоту, так и напряжение для повышения производительности. PBO — это сочетание «стандартного» разгона, ускоряющего все ядра одновременно, с возможностью повышения частоты на одном ядре для получения прироста производительности на средних рабочих нагрузках. PBO позволяет экономить электроэнергию при простоях процессора и работе со стандартной производительностью. Precision Boost Overdrive включается с помощью Ryzen Master.

Эти «три ключевых области» определяются AMD следующим образом:

  • Package (CPU) Power, или PPT — максимально допустимое энергопотребление сокета, зависит от подачи питания на сокет;
  • Thermal Design Current или TDC — максимальный ток, подаваемый регулятором напряжения материнской платы после достижения температуры стабильного состояния;
  • Electrical Design Current или EDC — максимальный ток, подаваемый регулятором напряжения материнской платы в пиковом состоянии.

Расширяя эти пределы, PBO расширяет возможности PB2, что в свою очередь позволяет максимально эффективно нагружать систему.

StoreMI

Вместе с новыми процессорами Ryzen Threadripper 2 пользователям открывается доступ к софтварному решению StoreMI. Оно позволяет создать настраиваемое многоуровневое хранилище, соединив DRAM, SSD и HDD в единое стораж пространство. Реализация программного обеспечения динамически размещает данные, используя до 2 ГБ DRAM, до 256 ГБ SSD (NVMe или SATA) и вращающийся жесткий диск. Такой подход обеспечивает наилучшие возможности чтения и записи, при недостатке места на скоростном накопителе.

Предложение теперь распространяется и на Threadripper. Первоначально AMD предлагала это программное обеспечение в виде дополнения к платформе Ryzen APU за 20 долларов, а позднее — бесплатно (до 256 ГБ SSD) для пользователей процессоров серии Ryzen 2000. AMD демонстрирует, как в идеале софт обеспечивает 90% -ное ускорение времени загрузки.

Накорми меня: Infinity Fabric нужно больше мощности

Когда перемещение данных между ядрами и контроллерами памяти изменилось от кольцевой топологии до mesh или chiplet, связь между ядрами стала намного сложнее. С этого момента каждое ядро или его окружение должно действовать как маршрутизатор, и определять наилучший путь для данных, если требуется несколько «прыжков» для достижения намеченной цели. Как мы видели с mesh Intel MoDe-X при запуске Skylake-X, нужно одновременно избежать конкуренции для повышения производительности и уменьшить длину проводников для снижения мощности. Оказывается, что в таких системах технология межъядерной коммуникации начинает потреблять очень много энергии, иногда больше, чем сами ядра.

Intel и AMD измеряют это значение по-разному, исходя из рабочих нагрузок и температур. Для описания мощности чипа все потребительские процессоры имеют номинальную «TDP» или мощность теплового дизайна. Фактическое потребление энергии может быть выше, в зависимости от потерь при подаче питания или теплового рассеивания через плату, но для большинства ситуаций TDP и потребление энергии в целом принято считать равными. Технически TDP — это тепловая энергия, которую должен рассеивать кулер, когда процессор полностью загружен (и обычно определяется на базовой частоте, а не турбо частоте всех ядер).

Однако не вся эта энергия может пойти на повышение частоты в ядрах. Это означает, что рейтинги TDP на современных процессорах, таких как 65W, 95W, 105W, 140W, 180W, а теперь и 250W, должны примерно показывать пиковое потребление энергии. Выходит, что межъядерные соединения становятся полноценным участником потребления мощности. Часть ее будет использоваться в контроллерах памяти, в IO, в интегрированной графике (если таковая есть на чипе). Мы же хотим знать, сколько они потребляют.

Новые процессоры Intel Coffee Lake, такие как Core i7-8700K, используют так называемый кольцевой дизайн шины. Чтобы понять масштабы, давайте начнем с чего-то прямолинейного и известного большинству пользователей. Система межъядерных взаимодействий исторически называется «Uncore» и способна взаимодействовать с ядрами, работающими на разной частоте, и масштабировать мощность по необходимости. Эти процессоры используют одно кольцо для подключения каждого из ядер и контроллера памяти: если необходимо переместить данные, они попадают в кольцо и перемещаются до тех пор, пока не придут на место назначения. Распределение мощности выглядит следующим образом:

Нас интересует другое: соотношение потребления Uncore к общей мощности. Несмотря на 95 Вт TDP, этот процессор на базовых частотах потребляет около 125 Вт при полной нагрузке, что гораздо больше его TDP (определяемого также на базовой частоте). Для простоты назовем это «максимум 10%». При небольшой нагрузке uncore потребляет всего 4% общей мощности, но при загрузке дополнительных ядер потребляемая мощность увеличивается до 7-9%.

В этом дизайне Intel использует свою новую архитектуру «mesh» (сетка), похожую на MoDe-X. Теперь давайте перейдем к чему-то покрупнее: процессоры Intel Skylake-X. В ней каждая подгруппа элементов процессора имеет небольшой маршрутизатор, который может направлять пакет данных к соседним ядрам или самому себе, по мере необходимости.

Хотя mesh архитектура работает с меньшей задержкой, чем кольцевые системы, ранее используемые Intel, она потребляет намного больше энергии. Эта конструкция позволяет масштабировать процессор, учитывая то, что у кольцевых систем наблюдается дополнительная латентность при достижении размера в 14 ядер.

В результате от одной четверти до одной трети мощности на чипе используется для связи между ядрами и памятью. На этом графике мы видим, что мощность uncore в архитектуре mesh составляет уже от 20% общей мощности чипа, и увеличивается до 25-30% при загрузке дополнительных ядер.

У одного четырехъядерного комплекса связь между ядрами относительно проста и использует централизованный crossbar. Для AMD ситуация выглядит нечто иначе. Однако при использовании хотя бы двух ядерных комплексов на одном кремнии или контроллере памяти вступает в действие интерконнект. Когда речь идет о нескольких ядрах, способ связи прост и понятен. Эта топология не совсем «кольцо»», и основана на внутренней версии Infinity Fabric (IF).

Мы можем разобраться, что он делает в пределах единичной матрицы, на примере Ryzen 7 2700X, имеющего TDP 105 Вт. IF задуман для масштабирования по ядрам, матрицам и сокетам.

Во-первых, когда ядра слабо загружены, потребление IF составляет 43% от общей мощности процессора. Продукт AMD обнаружил два очень любопытных момента. Тем не менее у полностью нагруженного чипа эти 43% снижаются примерно до 25%. И это в сравнении с 4% для i7-8700K и 19% для i9-7980XE.

Для мощного чипа Intel мы видели, что в некоторых случаях она выросла с ~ 13,8 Вт до более 40 Вт. Во-вторых, очень важно, что мощность IF почти не меняется при масштабировании ядер, поднимаясь с ~ 17,6 Вт до ~ 25,7 Вт.

Ryzen Threadripper 2950X — это обновленная 16-ядерная версия Threadripper, которая использует единую линию связи между двумя кремниевыми матрицами для обмена данных между ядерными комплексами.

В этом случае потребляемая мощность Uncore включает внутриядерный интерконнект + межъядерный интерконнект. На диаграмме ниже, красная линия представляет собой потребление IF.

Хотя оба потока и расположены в одном и том же ядре (и в одном и том же CCX), CCX должен иметь доступ ко всей памяти системы, потому включена связь die-to-die и внутри-кремниевый интерконнект. В процентах потребление Infinity Fabric составляет 59% от общей потребляемой мощности чипа при загрузке всего двух потоков.

Тем не менее при загрузке дополнительных ядер мощность, потребляемая IF, едва увеличивается от 34 Вт до 43 Вт, постепенно снижая процент потребления примерно до 25% от общей мощности чипа, что аналогично 2700X.

Поскольку на чипе включены все четыре кремниевых матрицы, а каждый слой нуждается в межсетевом соединении IF друг с другом, необходимы шесть IF-линий: Теперь мы должны рассмотреть 2990WX.

Стоит отметить, что две из четырех кремниевых матриц не имеют локальной DRAM. На диаграмме ниже рябит от красного. Ведь они будут вызывать дополнительную латентность из-за ненужных переходов, если другие IF-соединения перегружены. Теоретически AMD должна иметь возможность отключать эти IF-соединения, когда используется только несколько ядер. Но на практике мы наблюдаем что-то странное.

Здесь Infinity Fabric потребляет 56,1 Вт при общем потребления энергии 76,7 Вт, что составляет 73% мощности процессора. Сначала рассмотрим показатели при низкой загруженности. Возможно именно здесь кроются дополнительные возможности управления питанием. Если одно соединение на 2950 Вт потребляло всего 34 Вт, очевидно, что здесь включаются дополнительные линии IF.

Мы не знаем, почему так произошло. Исследуя график, вы заметите, что наш образец 2990WX никогда даже не приблизился к расчетному TDP 250 Вт, едва выходя за отметку 180 Вт на пике. Это, конечно, больше, в сравнении с 25% на 2700X и 2950X. По мере увеличения нагрузки на ядра, доля потребляемой мощности IF падает, постепенно достигая 36%, и колеблется в пределах от 35% до 40% в зависимости от конкретной рабочей нагрузки.

Базируясь на уже устаревших ядрах Zen первого поколения, EPYC имеет дополнительные контроллеры памяти и IO, которые тоже нужно питать, все они относятся к категории Uncore энергопотребления. Поэтому, учитывая, что это первый наш обзор с участием EPYC 7601, как насчет того, чтобы поискать вторую подсказку в этом процессоре?

Пропорции потребления uncore колеблются. Рассматривая потребляемую мощность в цифрах, подобно 2990WX, когда мы загружаем все ядра, наблюдаем несколько ломаный график.

По мере задействования новых ядер, показатель 66,2 Вт растет до 90 Вт в некоторых точках. При низкой нагрузке, из общей мощности чипа 74,1 Вт, IF потребляет 66,2 Вт и составляет ошеломляющие 89%! Ядрам едва достается 90 Вт из 180 Вт TDP!

Для реального анализа, несомненно да, но для чисто академического? Вышесказанное приводит к интересному выводу — если мы чисто академически сравниваем достоинства одного ядра с другим, учитывать ли вклад Uncore power? Позвольте изречь пророчество:

Низкое потребление, масштабируемость и высокая производительность: масштабирование процессорного узла ничто, если на Uncore приходится 90% от общей мощности чипа. После битвы за количество ядер, следующее сражение будет за интерконнект.

Вам нравятся наши статьи? Спасибо, что остаетесь с нами. Поддержите нас оформив заказ или порекомендовав знакомым, 30% скидка для пользователей Хабра на уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps от $20 или как правильно делить сервер? Хотите видеть больше интересных материалов? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

3 месяца бесплатно при оплате новых Dell R630 на срок от полугода — 2 х Intel Deca-Core Xeon E5-2630 v4 / 128GB DDR4 / 4х1TB HDD или 2х240GB SSD / 1Gbps 10 TB — от $99,33 месяц, только до конца августа, заказать можно тут.

класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки? Dell R730xd в 2 раза дешевле? Только у нас 2 х Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТВ от $249 в Нидерландах и США! Читайте о том Как построить инфраструктуру корп.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть