Железо

Cerebras ― процессор для ИИ невероятных размеров и возможностей

Глядя на этого кремниевого монстра удивляет даже не то, что его смогли выпустить во плоти. Анонс процессора Cerebras ― Cerebras Wafer Scale Engine (WSE) или движка Cerebras масштаба кремниевой пластины ― состоялся в рамках ежегодной конференции Hot Chips 31. На изготовление одного процессора уходит целая 300-мм пластина. Удивляет смелость замысла и труд разработчиков, рискнувших разработать кристалл площадью 46 225 квадратных миллиметров со сторонами 21,5 см. При малейшей ошибке уровень брака составляет 100 %, а цену вопроса даже трудно представить.

Кристалл Cerebras в 56,7 раза больше самого крупного в мире графического процессора NVIDIA

Кристалл Cerebras в 56,7 раза больше самого крупного в мире графического процессора NVIDIA

Техпроцесс ― 16 нмFinFET. Выпуском Cerebras WSE занимается компания TSMC. Производство подобного чипа потребовало высшего мастерства и решения массы проблем, но оно того стоило, уверяют разработчики. Этот тайваньский производитель тоже заслужил памятник за выпуск Cerebras. В настоящий момент это идеальное решение для машинного обучения, которое позволит исследователям начать решать задачи чрезвычайной сложности. Чип Cerebras ― это фактически суперкомпьютер на чипе с невероятной пропускной способностью, минимальным потреблением и фантастическим параллелизмом.

AnandTech

Источник изображения ― AnandTech

Всё это связано ячеистой сетью с общей производительностью 100 петабит в секунду. Каждый кристалл Cerebras WSE содержит 1,2 трлн транзисторов, организованных в 400 000 ИИ-оптимизированных вычислительных ядер и 18 Гбайт локальной распределённой памяти SRAM. Иерархия памяти одноуровневая. Пропускная способность памяти достигает 9 Пбайт/с. Это идеальная архитектура для ускорения задач, связанных с ИИ. Кеш-памяти нет, перекрытия нет, задержки обращения минимальные. Голые цифры: в сравнении с самыми современными графическими ядрами чип Cerebras обеспечивает в 3000 раз больший объём памяти на кристалле и в 10 000 большую скорость обмена с памятью.

Источник изображения ― AnandTech

Источник изображения ― AnandTech

Более того, архитектура ядер изначально фильтрует данные, представленные нулями. Вычислительные ядра Cerebras ― SLAC (Sparse Linear Algebra Cores) ― полностью программируемые и могут быть оптимизированы для работы с любыми нейронными сетями. Тем самым процессор Cerebras оказывается в сотни или даже тысячи раз эффективнее для машинного обучения в терминах задействованной площади кристалла и его потребления, чем актуальные решения для ИИ и машинного обучения. Это освобождает вычислительные ресурсы от необходимости проводить холостые операции умножения на ноль, что для нагрузки разрежёнными данными означает ускорение расчётов и предельную энергоэффективность.

Индивидуальная сборка процессора (Источник изображения ― AnandTech)

Индивидуальная сборка процессора (Источник изображения ― AnandTech)

Его даже упаковывать в корпус пришлось едва ли не вручную. Изготовление чипа подобного размера потребовало массу уникальных решений. Отвод тепла стал возможен только жидкостью и лишь с организацией зональной подачи с вертикальной циркуляцией. Возникли проблемы с подводом питания к кристаллу и его охлаждением. Будет интересно узнать о его практическом применении. Тем не менее, все проблемы были решены и чип вышел рабочим.

Решение проблем охлаждения и подвода питания (Источник изображения ― AnandTech)

Решение проблем охлаждения и подвода питания (Источник изображения ― AnandTech)

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть