Главная » Хабрахабр » 8-битная аналоговая память для работы с нейросетями

8-битная аналоговая память для работы с нейросетями

В конце года на Хабре появилась статья о том, что компании IBM удалось создать первый 8-битный чип, основанный на памяти с изменением фазового состояния (phase-change memory).

Сегодня мы расскажем, как работает устройство, представленное ИТ-гигантом.


/ фото IBM Research CC BY-ND

С какой целью разрабатывается чип

Современные системы машинного обучения в основном работают на базе графических процессоров (GPU). Они требуют активного охлаждения, так как GPU могут нагреваться в два раза быстрее центральных процессоров (CPU). Это выливается в большие счета за электроэнергию для дата-центров, в которых такие вычислительные кластеры располагаются.

По оценкам аналитиков, к 2025 году дата-центры будут потреблять 20% всего генерируемого электричества. Вопрос снижения энергопотребления важен для ЦОД. В их числе 8-битная аналоговая память с изменением фазового состояния (PCM-память) от IBM. С целью сокращения расходов ЦОД и ведутся разработки новых технологий для МО. По оценке разработчиков, новые чипы окажутся в сто раз производительнее классических GPU и потребуют в 280 раз меньше энергии.

В традиционных системах эти процессы разделены — данные приходится переносить с устройства на устройство, и из-за этого скорость вычислений и их энергоэффективность снижается. Преимущества PCM-памяти объясняются тем, что обработка и хранение данных происходят на одном устройстве.

Обычно в машинном обучении используют числа с большей точностью, однако, по словам исследователей из IBM, в «повседневных» задачах этого оказывается достаточно. Чип работает с 8-битными числами с плавающей точкой.

Создателям технологии удалось применить её в переводе текстов и распознавании речи и изображений. Вице-президент по исследованиям IBM Джефф Уэлсер (Jeff Welser) сравнил работу нейронной сети в чипе с человеком, который видит расплывчатую фигуру в запотевшем окне, но все равно узнает в этом «пятне» своего родственника или друга.

На чипе запустили простую однослойную нейронную сеть, которая распознавала написанные от руки числа 1, 0 и 4. IBM уже показала первые результаты работы PCM-памяти с технологиями машинного обучения. Алгоритм различил изображения со 100-процентной точностью.

Как работает аналоговая память IBM

Чип изготовлен из сплава германия, теллура и сурьмы, размещенного между двумя электродами. Когда через материал пропускают ток, он меняет состояние с кристаллического на аморфное. Эти состояния означают ноль или единицу.

При записи в память числа не «округляются», и это помогает добиться большей точности алгоритмов, работающих на чипе. Из-за того, что фаза меняется не во всем объеме сплава, а лишь в его части, в ячейке можно сохранять промежуточные значения между 0 и 1. Считается, что такой метод хранения данных более достоверно передает поведение нейронов в мозге человека.

В аморфном состоянии сопротивление сплава оказывается более высоким, чем в кристаллическом — по этому показателю и определяют, какое число хранится в ячейке. При чтении данных через ячейку пропускают небольшой ток и измеряют сопротивление.

Поэтому в IBM усовершенствовали PCM-память и добавили в устройство дополнительный слой из нитрида титана, который «оборачивает» сплав — его назвали отражателем. Хотя напряжение тока при чтении ниже требуемого для изменения фазового состояния материала, оно приводит к небольшому сдвигу частиц и искажению данных.

W.
/ Koelmans, W. Projected phase-change memory devices / СС BY et al.

При чтении данных, сопротивление материала ячейки становится выше, чем у отражателя, и поэтому ток проходит по внешнему слою, минуя сплав. При записи данных отражатель никак не влияет на прохождение тока через сплав, так как сопротивление нитрида титана в этом случае выше, чем сопротивление материала ячейки. Такой тип памяти в IBM назвали Proj-PCM, или projected PCM — «PCM с отражателем».

Перспективы технологии

В ИТ-индустрии к новому чипу отнеслись положительно. По словам научного редактора издания Ars Technica, у устройства большой потенциал — с развитием технологии и сокращением размера ячейки памяти IBM может увеличить производительность устройства минимум в сто раз. Однако ИТ-гиганту ещё предстоит решить несколько сложностей.

По словам аналитика рынка процессоров Линли Гвеннапа (Linley Gwennap), характеристики чипов, например, рабочее напряжение и сопротивление электронных схем, меняются от устройства к устройству. Первая — массовое производство PCM-памяти. Гвеннап считает, что IBM ещё предстоит разработать подходящий производственный процесс, поэтому аналоговый чип не скоро станет коммерческим продуктом.

Сейчас под воздействием тепла или холода сплав меняет свою фазу. Ещё одна сложность — устойчивость к изменениям температуры. Вероятно, выходом станет уменьшение размера устройства — исследования показывают, что материал менее подвержен влиянию температуры при толщине слоя в несколько нанометров. Поэтому создателям устройства предстоит придумать способ защиты чипа от температурных колебаний.


/ фото IBM Research CC BY-ND

Кто еще занимается разработкой чипов для МО

Похожую технологию разрабатывает стартап Mythic. В основе устройства компании — многоуровневая флеш-память (MLC). Ячейка чипа может хранить не два или четыре уровня заряда, как в более распространенных устройствах флэш-памяти, а 256. Это значительно повышает её емкость. Ожидается, что такая память будет использоваться для реализации алгоритмов машинного обучения в устройствах интернета вещей: смартфонах, дронах, умных колонках и слуховых аппаратах.

Вычисления в устройстве также производятся в MLC-памяти. Другой похожий чип создает компания Syntiant. Представители компании говорят, что их устройство потребляет в 50 раз меньше электричества, чем цифровые процессоры. Главное преимущество технологии — низкое энергопотребление. Стартап уже работает над первой коммерческой реализацией технологии — «умным» микрофоном. Syntiant также будут использовать в гаджетах, которые питаются от батареи: смартфонах, носимых устройствах, датчиках и камерах наблюдения.

Поэтому их используют в комбинации с центральными и графическими процессорами. В целом аналоговые PCM-чипы пока не предназначены для проведения высокоточных вычислений. Но в будущем ожидается, что аналоговая память сможет заменить классические чипы в дата-центрах. В IBM считают, что гибридная архитектура может создать равновесие между производительностью и точностью.

Первый блог о корпоративном IaaS:
Наш IaaS-блог в Telegram:


Оставить комментарий

Ваш email нигде не будет показан
Обязательные для заполнения поля помечены *

*

x

Ещё Hi-Tech Интересное!

[Из песочницы] Haiku β1 — сделаем /b/ OS великой снова

Совсем недавно (почти 4 месяца назад) вышла новая Haiku (далее — просто BeOS, ибо проект гораздо удачнее ReactOS — настолько, что разница между Haiku и BeOS уже пренебрежимо мала). Да и недавно прочитанный киберпанк-роман Александра Чубарьяна давал понять, что BeOS ...

Минкомсвязи одобрило законопроект об изоляции рунета

Министерство цифрового развития, связи и массовых коммуникаций РФ поддержало законопроект №608767-7 об автономной работе рунета, внесённый в Госдуму 14 декабря 2018 года. Об этом сегодня сообщил замглавы Минкомсвязи Олег Иванов в ходе расширенного заседания комитета Госдумы по информационной политике, информационным технологиям ...