Хабрахабр

[Перевод] В Google рассказывают, как «экспоненциальный» рост ИИ изменяет саму природу вычислений

Программист из Google Клиф Янг объясняет, как взрывное развитие алгоритмов глубинного обучения совпадает с отказом закона Мура, десятилетиями работавшего эмпирического правила прогресса компьютерных чипов, и заставляет разрабатывать принципиально новые вычислительные схемы

Программист из Google Клиф Янг выступил на открытии осенней конференции по микропроцессорам, организованной компанией Linley Group – популярном симпозиуме по теме компьютерных чипов, проводимом почтенной компанией, занимающейся полупроводниковым анализом. Взрывное развитие ИИ и алгоритмов машинного обучения изменяет саму природу вычислений – так говорят в одной из самых крупных компаний, практикующих ИИ – в Google.

– Цифровые КМОП замедляются, мы видим проблемы с 10 нм процессом у Intel, мы видим их у 7 нм процеса от GlobalFoundries, и одновременно с развитием глубинного обучения появляется и экономический запрос». Янг сказал, что использование ИИ перешло в «экспоненциальную фазу» в тот самый момент, когда закон Мура, десятилетиями работавшее эмпирическое правило прогресса компьютерных чипов, полностью затормозилось.
«Времена достаточно нервные, — задумчиво сказал он. КМОП, комплементарная структура металл-оксид-полупроводник, представляет собой наиболее распространённый материал, используемый для изготовлении компьютерных чипов.

Он выдал немного статистики: количество научных работ по поводу машинного обучения, хранящихся на сайте препринтов arXiv, поддерживаемом Корнелловским университетом, удваивается каждые 18 месяцев. В то время, как классические чипы с трудом увеличивают эффективность и производительность, запросы от исследователей ИИ растут, отметил Янг. Ещё быстрее растёт необходимость в количестве операций с плавающей точкой, нужных для обработки нейросетей, использующихся в машинном обучении – оно удваивается каждые три с половиной месяца. А количество внутренних проектов, концентрирующихся на ИИ в Google, сказал он, также удваивается каждые 18 месяцев.

Весь этот рост вычислительных запросов объединяется в «суперзакон Мура», сказал Янг, и он назвал это явление «немного пугающим» и «немного опасным», и «тем, на счёт чего стоит беспокоиться».

«В частности, всё дело в том, что глубинное обучение просто работает. «Откуда весь этот экспоненциальный рост» в области ИИ, спросил он. – Не было очевидно, что эти штуки смогут взлететь». В моей карьере я долго игнорировал машинное обучение, — сказал он.

– Большую часть пяти последних лет мы были компанией, ставящей ИИ на первое место, и мы переделали большую часть бизнесов на основе ИИ», от поиска до рекламы и многого другого. Но затем быстро начали появляться такие прорывы, как, например, распознавание образов, и стало ясно, что глубинное обучение «невероятно эффективно, — сказал он.

К примеру, нейросети иногда измеряются количеством «весов», в них использующихся, то есть, переменных, применяемых к нейросети, и влияющих на то, как она обрабатывает данные. Команде проекта Google Brain, ведущего проекта по исследованию ИИ, требуются «гигантские машины», сказал Янг.

Поскольку «каждый раз при удвоении размера нейросети мы улучшаем её точность». И если обыкновенные нейросети могут содержать сотни тысяч или даже миллионы весов, которые необходимо рассчитать, исследователи из Google требуют себе «тера-весовые машины», то есть компьютеры, способные рассчитывать триллионы весов. Правило развития ИИ – становиться всё больше и больше.

TPU и ему подобные нужны, поскольку традиционные CPU и графические чипы GPU не справляются с нагрузками. В ответ на запросы в Google разрабатывают собственную линейку чипов для МО, Tensor Processing Unit.

– Но мы перешли этот рубеж пять лет назад». «Мы очень долго сдерживали себя и говорили, что у Intel и Nvidia отлично получается создавать высокопроизводительные системы, — сказал Янг.

Google уже работает над третьим поколением TPU, используя его в своих проектах и предлагая компьютерные мощности по запросу посредством сервиса Google Cloud. TPU после первого появления на публике в 2017 году вызвал шумиху заявлениями о том, что по быстродействию он превосходит обычные чипы.

В её «стручковой» конфигурации 1024 TPU совместно связаны в суперкомпьютер нового типа, и Google планирует продолжать расширять эту систему, по словам Янга. Компания продолжает изготавливать TPU всё больших и больших размеров.

«Мы без устали двигаем прогресс по нескольким направлениям одновременно, и операции терабайтных масштабов продолжают расти». «Мы создаём гигантские мультикомпьютеры мощностью в десятки петабайт», сказал он. Подобные проекты поднимают все проблемы, связанные с разработкой суперкомпьютеров.

Они скомбинировали гигантский «модуль матричного перемножения», часть чипа, несущую основное бремя вычислений для нейросетей, с «векторным модулем общего назначения» и «скалярным модулем общего назначения», как это было сделано в Cray. К примеру, инженеры Google взяли на вооружение трюки, использовавшиеся в легендарном суперкомпьютере Cray. «Комбинация скалярного и векторного модулей позволяла Cray обгонять всех по производительности», — сказал он.

Некий способ представления вещественных чисел под названием bfloat16 обеспечивает повышение эффективности при обработке чисел в нейросетях. В Google разработали собственные инновационные арифметические конструкции для программирования чипов. В разговорной речи его называют «мозговым числом с плавающей запятой» [brain float].

Он сказал, что спрос на большие объёмы памяти в деле тренировки нейросетей быстро растёт. TPU пользуется самыми быстрыми чипами памяти, памятью с высокой пропускной способностью, или HBM [high-bandwidth memory].

Люди говорят о сотнях миллионов весов, но есть свои проблемы и при обработке активации» переменных нейросети. «Память при тренировке используется более интенсивно.

«Мы работаем над данными и параллелизмом модели» в таких проектах, как «Mesh TensorFlow» – адаптации программной платформы TensorFlow, «комбинирующей данные и параллелизм на масштабах стручка». В Google также подстраивают способ программирования нейросетей, помогающий выжать максимум из железа.

Он отметил, что компания не рассказывала о внутренних связях, о том, как данные перемещаются по чипу – просто отметил, что «наши коннекторы гигантские». Некоторые технические подробности Янг раскрывать не стал. Он отказался распространяться на эту тему, что вызвало смех в аудитории.

К примеру, он предположил, что важную роль смогут играть расчёты при помощи аналоговых чипов, схем, обрабатывающих входные данные в виде непрерывных значений вместо ноликов и единичек. Янг указал на ещё более интересные области вычислений, которые могут вскоре открыться нам. «Возможно, мы обратимся в аналоговую область, в физике есть очень много всего интересного, связанного с аналоговыми компьютерами и с NVM-памятью».

Он также выразил надежду на успех стартапов, связанных с чипами, представленных на конференции: «Здесь встречаются очень крутые стартапы, и нам нужно, чтобы они заработали, потому что возможности цифровых КМОП не безграничны; я хочу, чтобы все эти вложения выстрелили».

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть