Хабрахабр

[Перевод] В коре вашего мозга 17 млрд компьютеров

Нейросеть нейросетей

0
Изображение brentsview под лицензией CC BY-NC 2.

Это может быть мысль (хочу карри на ужин), действие (сделать карри), изменение настроения (ура, карри!). В мозг поступает информация из внешнего мира, его нейроны получают данные на входе, производят обработку и выдают некий результат. И если представлять мозг как преобразователь с входом в выходом, то неизбежна аналогия с компьютером. Что бы ни получилось на выходе, это «что-то» является преобразованием данных со входа (меню) в результат на выходе («куриный дхансак, пожалуйста»).

Но мозг — это не компьютер. Для одних это просто полезный риторический приём, для других — серьёзная идея. В коре головного мозга 17 миллиардов компьютеров.
Посмотрите на это: Компьютером является каждый нейрон.

Пирамидальный нейрон, спроецированный в 2D. Чёрное пятно посередине — это тело нейрона, а остальные провода — его дендриты. Изображение: Ален Декстеше

Такие клетки составляют большую часть коры вашего мозга. Это изображение пирамидального нейрона. Входные данные поступают по всей длине каждого дендрита, некоторые прямо рядом с телом, а другие далеко на кончиках. Пятно в центре — тело нейрона, а во все стороны тянутся и ветвятся дендриты, извилистые провода, которые собирают входные данные от других близких и далёких нейронов. Важно, куда именно поступит сигнал.

Обычно работу нейронов сводят к идее простого сумматора. Многие не понимают, насколько важно местоположение входных данных. Активация каждого входа в отдельности немного изменяет напряжение тока в электрической нейросети. В этой идее дендриты — просто устройства для сбора входных данных. Если суммировать ток со всех дендритов, то генерируется дендритный потенциал действия (спайк), который спускается по аксону и станет входом для других нейронов.


Модель нейрона с суммированием входных сигналов и генерацией дендритного потенциала действия, если сумма входов превышает порог (серый круг)

Но она неправильная. Это удобная ментальная модель, она лежит в основе всех искусственных нейронных сетей.

У них тоже есть собственное устройство для генерации спайков. Дендриты — не просто кусочки проволоки. Если на одном небольшом участке дендрита активировано достаточное количество входов, то они будут усилены:

Когда они самостоятельно активируются, каждый порождает отклик.
Два цветных сгустка — это два входа в один участок дендрита. При совместной активации отклик больше (сплошная линия), чем сумма отдельных входов (пунктирная линия) Серая стрелка на рисунке указывает на активацию этого входа (отклик здесь означает «изменение напряжения»).

Соотношение между количеством активных входов и размером отклика на небольшом участке дендрита выглядит следующим образом:

Локальный «спайк» — это резкий скачок от минимальной к большой реакции
Размер отклика в одной ветви дендрита в ответ на увеличение числа активных входов.

Этот участок дендрита работает «надлинейно», здесь 2+2=6. Мы видим локальный всплеск: внезапный скачок от почти нулевой реакции на несколько входов к очень большой реакции с добавлением ещё одного.

Мы видели спайки в нейронах на срезах мозга. Мы много лет знаем об этих локальных всплесках на отдельных участках дендрита. Совсем недавно мы видели их в дендритах нейронов у животных в движении (да, Мур с коллегами зафиксировали ЭМ-поле в нескольких микрометрах от мозга бегающей мыши; сумасшедший, правда?). Мы видели их у животных под наркозом, которым щекотали лапы (да, мозг без сознания ещё что-то чувствует; просто не утруждает себя ответом). Дендриты пирамидального нейрона действительно генерируют спайки.

Но почему этот локальный всплеск меняет наше представление о мозге как о компьютере? Потому что у дендритов пирамидального нейрона много отдельных веток. И каждая способна вычислить результат и выдать всплеск. Это означает, что каждая ветвь дендрита действует как небольшое нелинейное выходное устройство, суммируя и выводя локальный всплеск, если эта ветвь получает достаточное количество входов примерно в одно время:

Одна дендритная ветвь действует как небольшое устройство для суммирования входов и выдачи всплеска, если одновременно поступило достаточно входов.
Дежавю. И преобразование от входа к выходу (серый круг) — тот же график, который мы уже видели выше, определяющий силу спайка

Разве это не наша модель нейрона? Погодите. Теперь, если заменить каждую маленькую ветвь дендрита одним из наших маленьких «нейронных» устройств, то пирамидальный нейрон выглядит примерно так: Да, это она.

Справа: получается, что это набор нелинейных суммирующих устройств (жёлтые ящики с нелинейными выходами), которые выводятся в тело нейрона (серый ящик) и суммируются там.
Слева: много дендритных ветвей нейрона (сверху и снизу от тела). Что-то знакомое?

Сам по себе. Да, каждый пирамидальный нейрон представляет собой двухслойную нейронную сеть.

Они построили сложную компьютерную модель одного нейрона, имитируя каждый маленький кусочек дендрита, локальные всплески внутри них, и как те спускаются к телу. Прекрасная работа Поирази и Мела ещё в 2003 году явно показала это. Затем они напрямую сравнили выход нейрона с выходом двухслойной нейронной сети — и они оказались одинаковыми.

Сам по себе нейрон способен вычислить огромный диапазон так называемых нелинейных функций, которые он просто суммирует и выдаёт спайк. Необычайное значение этих локальных всплесков в том, что каждый нейрон является компьютером. Конечно, у нейронов гораздо больше четырёх входов и гораздо больше двух ветвей: таким образом, они способны вычислять астрономический диапазон логических функций. Например, с четырьмя входами (синий, море, жёлтый и солнце) и двумя ветвями, действующими как маленькие нелинейные устройства, пирамидальный нейрон может вычислить функцию «связывания признаков»: реагировать на сочетание синего и моря или на сочетание жёлтого и солнца, но не реагировать иначе, например, на синий и солнце или жёлтый и море.

Потому что дендриты, естественно, не линейны: в своём нормальном состоянии они фактически суммируют входные данные, получая результат меньше, чем сумма отдельных значений. Совсем недавно Ромен Кейз с друзьями (я один из друзей) показали, что единственный нейрон вычисляет удивительный диапазон функций, даже если не способен сгенерировать локальный дендритный всплеск. И наличие многих дендритных ветвей с сублинейным суммированием также позволяет нейрону действовать как двухслойная нейронная сеть. В таком режиме они работают сублинейно, то есть 2+2 = 3,5. И почти у каждого нейрона есть дендриты. Двухслойная нейронная сеть, которая вычисляет различный набор нелинейных функций, построенный по нейронам с надлинейными дендритами. Таким образом, почти все нейроны в принципе могут быть двухслойной нейронной сетью.

Другое удивительное следствие локального всплеска состоит в том, что нейроны знают о мире намного больше, чем говорят нам — или другим нейронам, если уж на то пошло.

Когда мы смотрим на проводку между нейронами в мозге, мы можем проследить путь от любого нейрона к любому другому. Недавно я задал простой вопрос: как мозг распределяет информацию? Как же тогда информация, очевидно доступная в одной части мозга (скажем, запах карри), не появляется во всех других частях мозга (например, в зрительной коре)?

Во-первых, в некоторых случаях мозг не разделён: информация действительно появляется в странных местах, например, звуки доходят до области мозга, которая отвечает за ориентирование на местности. На это есть два противоположных ответа. И другой ответ: мозг разделяют дендриты.

И тело нейрона в основном не может обнаружить ничего, что не является локальным всплеском. Как мы только что видели, локальный всплеск является нелинейным событием: он больше, чем сумма входов. Нейрон реагирует только тогда, когда много входов активны одновременно во времени и пространстве (на одном и том же участке дендрита). Это означает, что оно игнорирует большую часть входных данных: тот участок, который генерирует импульс для остальной части мозга, изолирован от большей части информации, которую получает нейрон.

Именно это и происходит. В таком случае получается, что дендриты реагируют на то, на что не реагирует нейрон. В некоторых нейронах генерируются спайки при движении объекта под углом 60°, в других 90° или 120°. Мы видели, как в зрительной коре многие нейроны реагируют только на объекты, которые движутся под определённым углом. Дендриты знают гораздо больше об окружающем мире, чем тело нейрона. Но дендриты реагируют на все углы без исключения.

Нейроны зрительной коры реагируют только на вещи в определённом месте: один нейрон может реагировать на объекты слева вверху, другой — на объекты справа внизу. Они также видят гораздо больше. Таким образом, нейроны реагируют только на небольшую часть полученной информации, а остальная информация спрятана в их дендритах. Совсем недавно Соня Хофер с коллегами показали, что всплески нейронов происходят только в ответ на объекты, появляющиеся в одном определённом положении, но дендриты реагируют на множество различных положений, часто далёких от специализации нейрона.

Почему всё это важно? Это означает, что каждый нейрон может радикально изменить свою функцию, сменив всего несколько входов. Некоторые входы становятся слабее — и внезапно целая ветвь дендрита замолкает. Нейрон, который раньше был рад видеть кошек, потому что эта ветвь любила кошек, больше не реагирует, когда ваша кошка запрыгнула на клавиатуру работающего компьютера — и в результате вы стали гораздо более спокойным, собранным человеком. Несколько входов усиливаются — и внезапно целая ветвь начинает реагировать: нейрон, который раньше не реагировал на вкус оливок, теперь радостно генерирует всплески, когда фиксирует полный рот спелых зелёных оливок — по моему опыту, этот нейрон активируется у человека только после 20 лет. Если бы входы просто суммировались, то новые входы сражались бы со старыми за функцию нейрона; но каждый участок дендрита действует независимо и легко производит новые вычисления.

Нельзя считать нейрон просто сумматором входных данных и генератором всплесков. Это означает, что мозг может производить множество вычислений. Это говорит о том, что глубокое обучение и другие системы ИИ даже не приблизились к вычислительной мощи реального мозга. Но именно так устроены юниты в искусственных нейронных сетях.

Чтобы понять, что они делают, мы часто проводим аналогии с компьютером. В коре головного мозга 17 миллиардов нейронов. Другие считают её заблуждением. Некоторые аргументы полностью основаны на этой аналогии. Но если мы думаем, что мозг — это компьютер, потому что он подобен нейронной сети, то теперь мы должны признать, что отдельные нейроны тоже являются компьютерами. В пример часто приводят искусственные нейросети: они производят вычисления и состоят из нейроноподобных вещей, поэтому и мозг должен вычислять. Возможно, все 86 миллиардов в мозге. Все 17 миллиардов в коре.

Это нейросеть из нейросетей. Это значит, что кора головного мозга — не нейронная сеть.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть