Железо

Hot Chips 31: подробности об Intel Nervana NNP-I или «мозг» в формфакторе M.2

Ранее мы рассказали об ускорителе Intel Nervana NNP-T для машинного обучения с функцией тренировки. Продолжаем знакомиться с фактическими новинками Intel в области машинного обучения и ИИ. Мы уже знаем, что Nervana NNP-I разрабатывается Intel совместно с Facebook, и последняя уже достаточно широко использует эти ускорители. Для функции принятия решений (Inference) на основе тренированной модели компания подготовила другой чип ― ускоритель Nervana NNP-I (кодовое имя Spring Hill). О глубине модификации Ice Lake компания поведала только сейчас на конференции Hot Chips 31. В основе Nervana NNP-I, о чём мы тоже говорили, лежит модифицированный 10-нм процессор Intel поколения Ice Lake. Так что же такое Nervana NNP-I?

Глядя на формфактор решения, в этом можно было усомниться. Начнём с того, что Nervana NNP-I компания Intel позиционирует как решение для центров обработки данных. 2. Чип помещён на компактную плату в формфакторе M. Тем не менее, пока Intel говорит лишь об использовании Nervana NNP-I в формфакторе M. Такую плату можно установить куда угодно в слот в массе периферийных устройств. Собственно, формфактор M. 2 только в составе ЦОД. Так, уже на начальном этапе решения Nervana NNP-I в зависимости от конфигурации могут потреблять от 10 до 50 Вт, тогда как максимально разрешённое потребление для устройства в формфакторе M. 2 имеет ограничения по потребляемой мощности и, очевидно, по мере повышения потребления Nervana NNP-I придётся использовать другой формфактор. 2 равно 15 Вт.

В версии Nervana NNP-I оригинальный четырёхъядерный процессор Ice Lake лишился двух вычислительных ядер и встроенного графического ядра. Итак, всё-таки ЦОД. Это, по мнению Intel, делает чип Nervana NNP-I уникальным в плане программной поддержки решением. Два оставшихся вычислительных ядра сохранили 10-нм архитектуру Sunny Cove. Популярная и знакомая программистам система команд x86 обеспечит простоту создания продуктов с использованием языков высокого уровня.

Но это не Ice Lake. Оставшееся от выброшенных блоков место Intel, в частности, выделила под ИИ-блоки ICE. Именно ядра ICE отвечают за функцию принятия решений. Это ядра Inference Compute Engine, которых может быть от 10 до 12 штук в зависимости от конфигурации. Ядра Sunny Cove тоже участвуют в процессе работы ИИ-стека, поскольку аппаратно поддерживают 512-битные векторные инструкции и приспособлены для работы с моделями машинного обучения. По словам Intel, эти ядра оптимизированы для работы с популярными фреймворками для машинного обучения. За счёт оптимальной работы с моделями производительность Nervana NNP-I по отношению к потреблению составляет 4,8 TOPs/Вт, что является хорошим показателем.

2, так и в составе чипа. Высокая производительность и эффективность Nervana NNP-I также достигается за счёт наличия бортовой памяти как на плате M. Следующей в иерархии памяти Nervana NNP-I идёт интегрированная в кристалл кеш-память L3 объёмом 24 Мбайт. На плате расположен чип памяти LPDDR4X объёмом 16 Гбайт, который подключается к ускорителю с помощью встроенного в него двухканального контроллера памяти с пропускной способностью 68 Гбайт/с. Полный объём SRAM на кристалле достигает 75 Мбайт. Кроме этого каждый блок ICE содержит по 4 Мбайт SRAM и индивидуальные блоки памяти для инструкций и данных.

2. Пределы масштабирования Nervana NNP-I ограничиваются только наличием свободных портов M. Чип можно заставить работать как в режиме двух ядер, так и 12, что позволяет менять масштабы производительности (и потребления) в 5,85 раза. Решение поддерживает вычисления FP16 и INT8/4/2/1, но не поддерживает BF16 (грубо ― урезанные после запятой FP32).

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть