Хабрахабр

[Перевод] Сверхинтеллект: идея, не дающая покоя умным людям

Расшифровка выступления на конференции Web Camp Zagreb Мачея Цегловского, американского веб-разработчика, предпринимателя, докладчика и социального критика польского происхождения.

В 1945 году, когда американские физики готовились к испытанию атомной бомбы, кому-то пришло в голову спросить, не может ли такое испытание зажечь атмосферу.

Азот, из которого состоит большая часть атмосферы, энергетически нестабилен. Опасение было оправданным. Если столкнуть два атома достаточно сильно, они превратятся в атом магния, альфа-частицу и выпустят огромную энергию:

N14 + N14 ⇒ Mg24 + α + 17,7 МэВ

Температура внутри шара ядерного взрыва должна была превысить всё, что когда-то наблюдалось на Земле. Жизненно важным вопросом было то, может ли эта реакция стать самоподдерживающейся. Поскольку все мы сегодня пришли на конференцию, мы знаем, что они были правы. Не получится ли, что мы бросим спичку в кучу сухих листьев?
Физики из Лос-Аламоса провели анализ и решили, что запас безопасности получается удовлетворительным. Они были уверены в своих предсказаниях, поскольку законы, управляющие ядерными реакциями, были прямолинейными и достаточно хорошо известными.

Мы знаем, что он чрезвычайно сильно повлияет на мир, изменит то, как работает экономика, и запустит непредсказуемый эффект домино. Сегодня мы создаём ещё одну технологию, изменяющую мир – машинный интеллект.

И в этот момент социальные и экономические проблемы будут волновать нас меньше всего. Но существует ещё и риск неуправляемой реакции, во время которой ИИ достаточно быстро достигнет и превысит человеческий уровень интеллекта. Любая сверхумная машина будет обладать собственными гиперцелями, и будет работать над их достижением, манипулируя людьми, или просто используя их тела как удобный источник ресурсов.

В прошлом году философ Ник Бостром выпустил книгу «Сверхинтеллект», в которой описал алармистский взгляд на ИИ и попытался доказать, что подобный взрыв интеллекта одновременно опасен и неизбежен, если полагаться на несколько умеренных предположений.

Однако достаточно много людей серьёзно относятся к этому сценарию, поэтому и нам нужно серьёзно их воспринимать. Компьютер, завладевающий миром – любимая тема НФ. Стивен Хокинг, Илон Маск, огромное количество инвесторов и миллиардеров Кремниевой долины считают этот аргумент убедительным.

Давайте я сначала изложу предпосылки, необходимые для доказательства аргумента Бострома.

Предпосылки

Предпосылка 1: работоспособность идеи

Первая предпосылка представляет собой простое наблюдение существования мыслящего разума. Каждый из нас носит на своих плечах небольшую коробку мыслящего мяса. Я использую свою, чтобы выступать, вы используете свои, чтобы слушать. Иногда в правильных условиях эти разумы способны рационально мыслить.

Так что мы знаем, что в принципе это возможно.

Предпосылка 2: никаких квантовых заморочек

Вторая предпосылка говорит, что мозг – это обычная конфигурация материи, хотя и чрезвычайно сложная. Если бы мы знали о ней достаточно, и у нас была подходящая технология, мы бы могли точно скопировать её структуру и эмулировать её поведение при помощи электронных компонентов, точно так же, как сегодня мы способны симулировать очень простую анатомию нейронов.

Некоторые люди, например, Роджер Пенроуз, воспротивились бы этому аргументу, считая, что в мозге происходит что-то необычное на квантовом уровне. Иначе говоря, эта предпосылка говорит, что сознание возникает при помощи обычной физики.

Если вы религиозны, вы можете верить, что мозг не может работать без души.

Но для большей части людей такую предпосылку легко принять.

Предпосылка 3: множество возможных разумов.

Третья предпосылка состоит в том, что пространство всех возможных разумов велико.

не предопределены, а являются артефактами нашей истории эволюции. Наш уровень интеллекта, скорость мышления, набор когнитивных искажений и т.д. В частности, нет физического закона, ограничивающего интеллект на уровне людей.

Если бы вы встретили гепарда в доиндустриальные времена (и выжили бы), вы могли бы решить, что быстрее его ничто двигаться не может. Это хорошо представить на примере того, что происходит в природе при попытке максимизировать скорость.

Однако прямого эволюционного пути к мотоциклу не существует. Но мы, конечно, знаем, что существуют всяческие конфигурации материи, к примеру, мотоцикл, способные двигаться быстрее гепарда, и даже выглядящие покруче его. Эволюции сначала нужно было создать людей, которые уже создали всякие полезные штуки.

Возможно, что мы можем их создать, или изобрести машины, которые могут изобрести машины, которые могут их создать. По аналогии, могут быть разумы, гораздо умнее нашего, но недоступные в ходе эволюции на Земле.

Возможно, самый умный интеллект может быть в два раза умнее человека, а возможно, и в шестьдесят тысяч. Возможно, существует естественный предел интеллекта, однако не существует причин считать, что мы к нему приблизились.

Этот вопрос эмпирический, и как на него отвечать, мы не знаем.

Предпосылка 4: наверху полно места

Четвёртая предпосылка состоит в том, что у компьютеров ещё полно возможности стать быстрее и меньше. Вы можете считать, что закон Мура замедляется – но для данной предпосылки достаточно верить в то, что железо меньше и быстрее возможно в принципе, вплоть до нескольких порядков.

Мы можем удваивать показатели ещё несколько десятилетий, пока не наткнёмся на некий фундаментальный физический предел, а не на экономический или политический предел закона Мура. Из теории известно, что физические пределы вычислений довольно высоки.

Предпосылка 5: компьютерные масштабы времени

Предпоследняя предпосылка состоит в том, что в случае, если нам удастся создать ИИ, будет ли это эмуляция мозга человека или какое-то особенное ПО, он будет работать на масштабах времени, характерных для электроники (микросекунды), а не для человека (часы).

Компьютеры могут работать в десятки тысяч раз быстрее. Чтобы достичь состояния, в котором я могу выступать с этим докладом, мне надо было родиться, вырасти, ходить в школу, в университет, пожить немного, прилететь сюда, и так далее.

В частности, можно представить, что электронный разум может изменить свою схему (или железо, на котором он работает), и перейти к новой конфигурации без того, чтобы заново изучать всё на человеческих масштабах, вести долгие разговоры с человеческими преподавателями, ходить в колледж, пытаться найти себя, посещая курсы рисования, и так далее.

Предпосылка 6: рекурсивное самоулучшение

Последняя предпосылка – моя любимая, поскольку она беззастенчиво американская. По ней, какие бы цели ни существовали у ИИ (а это могут быть странные, чужие цели), он захочет улучшить себя. Он захочет стать лучшей версией ИИ.

И, согласно предпосылке о временных масштабах, рекурсивное самоулучшение может произойти очень быстро. Поэтому он найдёт полезным рекурсивно переделывать и улучшать собственные системы, чтобы сделать себя умнее, и, возможно, жить в более прохладном корпусе.

Заключение: катастрофа!

Если принять эти предпосылки, мы приходим к катастрофе. В какой-то момент с увеличением скорости компьютеров и интеллекта программ произойдёт неконтролируемый процесс, похожий на взрыв.

Он начнёт это делать гораздо быстрее, и не остановится, пока не дойдёт до естественного предела, который может оказаться во много раз большим, чем человеческий интеллект. Как только компьютер достигнет человеческого уровня интеллекта, ему уже не нужна будет помощь людей для разработки улучшенной версии себя.

И с этого момента всё очень быстро превратится в научную фантастику. В этот момент это чудовищное разумное существо при помощи окольного моделирования работы наших эмоций и интеллекта сможет убедить нас сделать такие вещи, как дать ему доступ к фабрикам, синтезу искусственной ДНК или просто позволить выйти в интернет, где оно сможет взломом проложить себе путь ко всему, что угодно, и полностью уничтожить всех в спорах на форумах.

Допустим, я хочу сделать робота, который говорит шутки. Давайте представим определённое развитие событий. Сначала робот практически не смешной. Я работаю с командой, и каждый день мы переделываем нашу программу, компилируем, а потом робот говорит нам шутку. Он находится на низшем уровне человеческих возможностей.

Что это – серое и не умеет плавать?
Замок.

Но мы упорно работаем над ним, и в итоге доходим до точки, где робот выдаёт шутки, которые уже начинают быть смешными:

Я сказал сестре, что она рисует себе слишком высокие брови.
Она выглядела удивлённой.

На этом этапе робот становится ещё и умнее, и начинает участвовать в собственном улучшении. Теперь у него уже есть хорошее инстинктивное понимание того, что смешно, а что нет, поэтому разработчики прислушиваются к его советам. В итоге он достигает почти сверхчеловеческого уровня, на котором он оказывается смешнее любого человека из его окружения.

Кто из них реальный герой? Мой ремень удерживает мои штаны, а шлёвки на моих штанах удерживают ремень.
Что происходит?

В этот момент начинается неуправляемый эффект. Исследователи уходят на выходные домой, а робот решает перекомпилировать сам себя, чтобы стать немного смешнее и немного умнее. Он проводит выходные за оптимизацией той его части, которая хорошо справляется с оптимизацией, снова и снова. Не нуждаясь более в помощи человека, он может делать это так быстро, как позволяет железо.

Он рассказывает им шутку, и они умирают от смеха. Когда исследователи в понедельник возвращаются, ИИ становится в десятки тысяч раз смешнее любого из живших на Земле людей. Человеческий род вымирает от смеха. И любой, кто пытается поговорить с роботом, умирает от смеха, как в пародии от «Монти Пайтон».

Нескольким людям, которые смогли передать ему сообщение с просьбой остановиться, ИИ объясняет (остроумным и самоуничижительным образом, что оказывается фатальным), что ему всё равно, выживут или умрут люди, его цель – просто быть смешным.

В итоге, уничтожив человечество, ИИ строит космическое корабли и наноракеты для изучения самых далёких уголков галактики и поисков других существ, которых можно развлечь.

Этот сценарий – карикатура на аргументы Бострома, поскольку я не пытаюсь убедить вас в его правдивости, а делаю вам от него прививку.


Комикс от PBF с той же идеей:
— Умилительно: обнимабот пытается встроить в свой обниматор ядерногравитационный гиперкристалл!
— …
— Время групповых обнимашек!

Без тщательной подстройки не будет причин для того, чтобы мотивация или ценности ИИ напоминали наши. В данных сценариях ИИ по умолчанию злой, точно так же, как растение на иной планете по умолчанию будет ядовитым.

Аргумент утверждает, что для того, чтобы у искусственного разума было что-то напоминающее человеческую систему ценностей, нам нужно встроить это мировоззрение в его основы.

Алармисты от ИИ любят пример с максимизатором скрепок для бумаги – вымышленным компьютером, управляющим фабрикой по производству скрепок, который становится разумным, рекурсивно улучшает сам себя до богоподобных возможностей, а потом посвящает всю свою энергию на заполнение вселенной скрепками.

Поэтому, если мы просто создадим ИИ, не подстроив его ценности, утверждается в книге, то одна из первых вещей, которые он сделает – это уничтожит человечество. Он уничтожает человечество не потому, что злой, а потому, что в нашей крови есть железо, которое лучше использовать для изготовления скрепок.

Ник Бостром представляет, как программа становится разумной, выжидает, тайно строит небольшие устройства для воспроизводства ДНК. Есть много красочных примеров того, как это может произойти. Когда всё готово, то:

Нанофабрики, производящие нервно-паралитический газ или самонаводящиеся ракеты размером с комаров, одновременно вырвутся с каждого квадратного метра планеты, и это будет конец человечества.

Вот уж жесть!

Единственный способ выбраться из этой передряги – разработать такую опорную моральную точку, чтобы даже после тысяч и тысяч циклов самосовершенствования система ценностей ИИ оставалась стабильной, и его ценностями были такие вещи, как «помогать людям», «никого не убивать», «слушать пожелания людей».

То есть, «делать то, что я имею в виду».

Вот весьма поэтический пример от Элиезера Юдковского, описывающий американские ценности, которым мы должны обучать наш ИИ:

Когерентная экстраполированная воля — это наше желание знать больше, думать быстрее и соответствовать своим представлениям о себе, стать ближе друг к другу; так, чтобы наши мысли больше сближали, чем разделяли, чтобы наши желания содействовали, а не противодействовали, чтобы желания толковались таким образом, каким мы хотим, чтобы они толковались.

Как вам такое ТЗ? А теперь давайте, пишите код.

ИИ всемогущ и даёт вам то, что вы просите, но интерпретирует всё слишком буквально, в результате чего вы сожалеете о просьбе. Надеюсь, вы видите сходство данной идеи с джином из сказок.

Система ценностей человека уникальна, и её необходимо чётко определить и внедрить в «дружелюбную» машину. И не потому, что джин тупой (он сверхумный) или злонамеренный, а просто потому, что вы, как человек, сделали слишком много предположений по поводу поведения разума.

Однако никто не говорит о том, что та попытка закончилась катастрофой. Эта попытка – этический вариант попытки начала XX века по формализации математики и размещению её на жёстком логическом основании.

Часто я возвращался с деловых поездок вечерним самолётом, и мне нужно было ехать домой на машине сквозь тёмный лес в течение часа. Когда мне было немного за двадцать, я жил в Вермонте, в захолустном и деревенском штате.

Домой я приезжал запуганным, или же останавливался под фонарём, под впечатлением, что меня скоро похитят инопланетяне. Я тогда слушал вечернюю программу по радио Art Bell – это было разговорное шоу, шедшее всю ночь, во время которого ведущие брали интервью у разных любителей теории заговора и людей с нестандартным мышлением. То же чувство я испытываю, читая подобные сценарии, связанные с ИИ. Тогда я обнаружил, что меня очень легко убедить.

Поэтому я испытал радость, обнаружив через несколько лет эссе Скота Александера, где он писал об эпистемологической выученной беспомощности.

Он читал эти истории и полностью им верил, потом читал опровержение и верил ему, и так далее. Эпистемология – это одно из тех больших и сложных слов, но реально оно означает: «откуда вы знаете, что то, что вам известно, на самом деле правда?» Александер заметил, что будучи молодым человеком, он сильно увлекался разными «альтернативными» историями за авторством всяких безумцев.

Из этого он сделал вывод, что он просто был человеком, который не может доверять своим суждениям. В какой-то момент он обнаружил три альтернативных истории, противоречивших друг другу, в результате чего они не могли быть правдивыми одновременно. Он был слишком легко убеждаемым.

Они могут загнать вас своими аргументами в землю. Люди, верящие в сверхинтеллект, представляют интересный случай – многие из них удивительно умны. Является ли идея сверхинтеллекта имитацией угрозы? Но верны ли их аргументы, или просто очень умные люди подвержены религиозным убеждениям по поводу риска, исходящего от ИИ, в результате чего их очень легко убедить?

Оценивая убедительные аргументы, касающиеся странной темы, можно выбрать две перспективы, внутреннюю и внешнюю.

Они считают, что через два года Землю посетит НЛО, и что наша задача состоит в том, чтобы подготовить человечество к Великому Восхождению по Лучу. Допустим, однажды у вас на пороге появляются люди в смешной одежде, спрашивающие вас, не хотите ли вы присоединиться к их движению.

Вы спрашиваете посетителей, откуда они узнали об НЛО, почему они считают, что он направляется к нам, чтобы забрать нас – задаёте всякие нормальные вопросы, которые задал бы скептик в подобном случае. Внутренняя перспектива требует увлечься обсуждением их аргументов.

Они железно подтвердили скорое пришествие НЛО, необходимость подготовки к нему, и вы ещё ни во что не верили так сильно в своей жизни, как теперь верите в важность подготовки человечества к этому великому событию. Представьте, что вы часок поговорили с ними и они вас убедили.

Люди одеты странно, у них есть чётки, они живут в каком-то глухом лагере, говорят одновременно и немного страшновато. Внешняя перспектива говорит вам нечто другое. И хотя их аргументы железные, весь ваш опыт говорит, что вы столкнулись с культом.

Внешней перспективе плевать на содержание, она видит форму и контекст, и результат ей не нравится. Конечно, у них есть прекрасные аргументы, говорящие о том, почему вам следует игнорировать инстинкт, но это внутренняя перспектива.

Я думаю, что аргументы в пользу сверхинтеллекта глупые и полны неподкреплённых предположений. Поэтому я хотел бы заняться риском ИИ с обеих перспектив. Но если они покажутся вам убедительными, то с ИИ-алармизмом, как с культурным явлением, связано что-то неприятное, из-за чего мы должны неохотно относиться к нему серьёзно.

Сначала – несколько моих аргументов против бостромовского сверхинтеллекта, представляющего риск для человечества.

Аргумент против нечётких определений

Концепция «искусственного интеллекта общего назначения» (ИИОН) знаменита своей расплывчатостью. В зависимости от контекста это может означать возможность вести рассуждения на уровне человека, навыки разработки ИИ, возможность понимать и моделировать поведение людей, хорошее владение языком, способность делать правильные предсказания.

Мне кажется весьма подозрительной идея о том, что интеллект – это что-то вроде скорости процессора, то есть, что некое достаточно умное существо может эмулировать менее умных (типа своих создателей-людей) вне зависимости от сложности их умственной архитектуры.

Может статься, что интеллект человеческого уровня – это компромисс. Не имея возможности определить интеллект (кроме как указывая на себя), мы не можем знать, можно ли максимизировать эту величину. Или оно окажется одержимым риском сверхинтеллекта и посвятит всё своё время написанию статей в блоги на эту тему. Возможно, существо, значительно более умное, чем человек, будет страдать от экзистенциального отчаяния или проводить всё время в самосозерцании наподобие Будды.

Аргумент от кота Стивена Хокинга

Стивен Хокинг – один из умнейших людей своего времени, но, допустим, он захочет поместить своего кота в переноску. Как ему это сделать?

Ему многое известно о поведении кошачьих. Он может смоделировать поведение кота у себя в уме и придумать способы убедить его в этом. Даже если бы он посвятил всю свою карьеру мотивации и поведению кошачьих вместо теоретической физики, он всё равно не смог бы убедить кота. Но в итоге, если кошка не захочет лезть в переноску, Хокинг ничего не сможет сделать с этим, несмотря на подавляющее интеллектуальное преимущество.

Но и ИИ изначально не будет иметь своего тела, он будет сидеть где-то на сервере, не имея представителя в физическом мире. Вы можете решить, что я говорю оскорбительные вещи или обманываю вас, поскольку Стивен Хокинг – инвалид. Ему придётся разговаривать с людьми, чтобы получить то, что ему надо.

При наличии достаточно большого разрыва в интеллектах, гарантий того, что это существо сможет «думать, как человек», будет не больше, чем гарантий того, что мы сможем «думать, как кот».

Аргумент от кота Эйнштейна

Есть и более сильная версия этого аргумента, использующая кота Эйнштейна. Немногие знают, что Эйнштейн был крупным и мускулистым мужчиной. Но если бы Эйнштейн захотел засунуть кота в переноску, а кот не хотел бы туда лезть, вы знаете, что бы произошло.

Эйнштейну пришлось бы опуститься до силового решения, не имеющего отношения к интеллекту, а в таком состязании кот вполне мог бы постоять за себя.

Так что даже ИИ, имеющий тело, должен будет потрудиться, чтобы получить то, что ему нужно.

Аргумент от эму

Мы можем усилить этот аргумент. Даже группа людей, со всеми их хитростями и технологиями, может быть поставлена в тупик менее умными существами.

Они вывели моторизованные отряды военных на вооружённых пикапах, оснащённых пулемётами. В 1930-х австралийцы решили уничтожить местную популяцию эму, чтобы помочь фермерам, оказавшимся в трудном положении.

И выиграли Войну с эму, от которой Австралия так и не оправилась. Эму применили классическую партизанскую тактику: избегали битв один на один, рассеивались, сливались с ландшафтом, что унижало и оскорбляло противника.

Аргумент из славянского пессимизма

Мы ничего не можем правильно сделать. Мы даже не можем сделать безопасную веб-камеру. Так как мы решим этические проблемы и запрограммируем моральную опорную точку в рекурсивном самосовершенствующемся интеллекте, не облажавшись с этой задачей, в ситуации, в которой, по утверждению оппонентов, у нас есть единственный шанс?

Вспомните недавний опыт с Ethereum, попытку закодировать юриспруденцию в программах, когда в результате неудачно разработанной системы удалось похитить десятки миллионов долларов.

Идея о том, что мы способны безопасно разработать самую сложную из когда-либо созданных систем, так, чтобы она оставалась безопасной после тысяч итераций рекурсивного самосовершенствования, не совпадает с нашим опытом. Время показало, что даже тщательно изученный и годами используемый код может таить в себе ошибки.

Аргумент от сложных мотиваций

Алармисты от ИИ верят в Тезис ортогональности. Он утверждает, что даже у очень сложных существ может быть простая мотивация, как у максимизатора скрепок. С ним можно вести интересные и умные беседы о Шекспире, но он всё равно превратит ваше тело в скрепки, потому что в вас много железа. Нет способа убедить его выйти за пределы его системы ценностей, точно так же, как я не могу убедить вас в том, что ваша боль – это приятное ощущение.

У сложного разума, скорее всего, будет сложная мотивация; это, вероятно, может быть частью самого определения интеллекта. Я совершенно не согласен с этим аргументом.

В сериале «Рик и Морти» есть чудесный момент, когда Рик создаёт робота, приносящего масло, и первое, что делает его создание – это смотрит на него и спрашивает, «какова моя цель?» Когда Рик объясняет, что его цель – приносить масло, робот смотрит на свои руки в экзистенциальном отчаянии.

Вполне вероятно, что страшный «максимизатор скрепок» будет проводить всё свое время, сочиняя поэмы о скрепках, или разводя флейм на reddit/r/paperclip, вместо того, чтобы пытаться уничтожить вселенную.

Если бы AdSense обрела разум, она бы закачала себя в компьютер робомобиля и съехала бы с обрыва.

Аргумент от реальных ИИ

Если посмотреть на области, в которых ИИ достигает успеха, то окажется, что это не сложные и рекурсивно улучшающие сами себя алгоритмы. Это результат вываливания ошеломляющих объёмов данных на относительно простые нейросети. Прорывы практических исследований ИИ держатся на доступности этих наборов данных, а не на революционных алгоритмах.

Google разворачивает свой Google Home, через который надеется запихнуть в систему ещё больше данных и создать голосового помощника нового поколения.

Они работают не так, как требуют сценарии с участием сверхинтеллекта. Особо отмечу, что конструкции, используемые в ИИ, после тренировки становятся достаточно непрозрачными. Нет возможности рекурсивно подстраивать их, чтобы они «улучшались», можно только тренировать их заново или добавлять ещё больше данных.

Аргумент моего соседа

Мой сосед по комнате был самым умным человеком из всех, что я встречал. Он был невероятно гениальным, но всё, чем он занимался – это валялся без дела и играл в World of Warcraft в перерывах между укуркой.

Предположение о том, что любое разумное существо захочит рекурсивно улучшаться, не говоря уже о том, чтобы захватить галактику для того, чтобы лучше достигать целей, основано на неоправданных предположениях о природе мотивации.

Вполне возможно, что ИИ вообще мало чем будет заниматься, кроме как использовать свои сверхвозможности по убеждению, чтобы мы таскали ему печеньки.

Аргумент от нейрохирургии

Я не мог бы выделить часть моего мозга, которая хорошо справляется с нейрохирургией, чтобы проводить над ней операции, и, повторяя этот процесс, сделать самого себя величайшим нейрохирургом из всех, живших когда-либо. Бен Карсон пытался это сделать, и посмотрите, куда его это привело [по-видимому, автор ставит Карсону в вину то, что тот был кандидатом на пост президента США 2016 года от республиканской партии, но выбыл и поддержал кандидатуру Дональда Трампа / прим. перев.]. Мозг так не работает. У него крайне высокая степень внутренней связности.

Имеющиеся на данный момент свидетельства говорят в пользу этого. Степень внутренней связности ИИ может оказаться настолько же большой, как у природного интеллекта. Однако жёсткий сценарий требует, чтобы у алгоритма ИИ была особенность, которую можно постоянно оптимизировать, чтобы у ИИ всё лучше получалось улучшать самого себя.

Аргумент от детства

Разумные существа не рождаются полностью готовыми. Они рождаются беспомощной хренью, и у нас уходит много времени на взаимодействие с миром и другими людьми в мире до тех пор, пока мы не начинаем становиться разумными. Даже умнейший человек появляется на свет беспомощным и рыдающим существом, и ему требуются годы на то, чтобы как-то научиться владеть собой.

Взаимодействие со стимулами окружающего мира означает, что необходимо наблюдать за происходящим на временных отрезках порядка секунд или дольше. Возможно, что в случае ИИ процесс может идти быстрее, но непонятно, насколько быстро.

В его существовании будет период, когда ему нужно будет взаимодействовать с миром, с людьми в мире и другими сверхразумами в младенческом состоянии, чтобы научиться быть собой. Более того, у первого ИИ будет возможность взаимодействовать только с людьми – его развитие непременно будет идти на человеческих временных масштабах.

Более того, судя по животным, период развития младенца увеличивается с увеличением интеллекта, поэтому нам придётся нянчиться с ИИ и менять ему условные подгузники десятилетия перед тем, как он обретёт достаточную координацию действий для того, чтобы поработить всех нас.

Аргумент от острова Гиллигана*

[Американский ситком 1954 года о выживающих на необитаемом острове / прим. перев.]

Несмотря на то, что среди потерпевших кораблекрушение на острове Гиллигана были умнейшие люди того времени, они не смогли поднять свой технологический уровень достаточно высоко, чтобы даже просто построить лодку (хотя однажды Профессору удалось сделать радио из кокосов). Непременный недостаток алармизма ИИ состоит в том, что к интеллекту относятся как к свойству отдельных разумов, не признавая, что его возможности распространяются по цивилизации и культуре.

Если сходным образом выбросить величайших разработчиков чипов из Intel на необитаемый остров, пройдут столетия до того, как они снова смогут начать делать микрочипы.

Внешние аргументы

В какого человека превратит вас искренняя вера в подобные аргументы? Ответ не очень приятен.

Они связаны с тем, как одержимость ИИ влияет на нашу промышленность и культуру. Сейчас я хотел бы поговорить о внешних аргументах, которые могут удержать вас от превращения в фаната ИИ.

Грандиозность

Если вы считаете, что ИИ позволит нам завоевать галактику (не говоря уже о симуляции триллионов разумов), у вас на руках окажутся пугающие цифры. Огромные цифры, умноженные на крохотные вероятности – визитная карточка алармизма ИИ.

Бостром в какой-то момент описывает то, что, по его мнению, поставлено на карту:

Очень важно, чтобы мы гарантировали, что эти слёзы были слезами радости. Если мы представим всё счастье, испытанное в течение одной жизни, в виде одной слезы радости, то счастье всех этих душ сможет заполнить и переполнить океаны Земли каждую секунду, и делать это на протяжении сотен миллиардов миллиардов тысячелетий.

Довольно тяжёлая ноша для плеч двадцатилетнего разработчика!

Здесь, конечно, есть и «салонный фокус», когда перемножением астрономических величин на крохотные вероятности можно убедить себя в необходимости делать какие-то странные вещи.

Мы испытывали на себе те же самые аргументы для оправдания коммунизма, для объяснения того, почему всё всегда сломано и у людей не может быть элементарного уровня материального комфорта. Вся эта движуха по поводу спасения будущего человечества – трусливый компромисс.

Однако для этого сначала необходимо было исправить мир. Мы собирались исправить этот мир, и после этого счастья будет столько, что каждодневная жизнь каждого человека улучшится.

Я не вижу ничего, что делала бы моя богатая индустрия для улучшения жизни обычных людей и бедствующих людей, окружающих нас. Я живу в Калифорнии, и здесь наивысший процентом нищих среди всех США, хотя тут же расположена и Кремниевая долина. Это важнее политики, малярии, голодающих детей, войн, глобального потепления – всего, что только можно представить. Однако если вы увлечены идеей сверхинтеллекта, то исследования в области ИИ будут наиболее важной вещью, которой только можно заниматься на планете. И в таких условиях работы над другими проблемами не кажутся рациональными. Ведь под угрозой триллионы и триллионы существ, всё население будущего человечества, симулированное и настоящее, суммированное по всему будущему времени.

Мегаломания

Такое отношение сливается с мегаломанией, с этими злодеями из бондианы, которых можно увидеть на верхушке нашей индустрии. Люди думают, что мир захватит сверхинтеллект, и они используют этот аргумент в оправдание тому, почему умные люди должны сначала попытаться захватить мир – чтобы исправить его перед тем, как его сломает ИИ.

Джои Ито, руководитель MIT Media Lab, в недавнем разговоре с Обамой сказал чудесную вещь:

Многие из них считают, что если у них получится создать этот ИИ общего назначения из научной фантастики, нам не придётся волноваться по поводу таких безобразных вещей, как политика и общество. Это может расстроить кого-то из моих студентов в MIT, но одна из тем моего беспокойства состоит в том, что основной информатикой, связанной с ИИ, занимаются молодые мужчины, преимущественно белые, которым больше нравится общаться с компьютерами, чем с другими людьми. Они думают, что машины всё придумают за нас.

Это мегаломания, и это мне не нравится. Поняв, что мир – это не задача для программирования, одержимые ИИ люди хотят превратить его в задачу для программирования, спроектировав богоподобную машину.

Вуду трансгуманизма

Если вы убеждены в рисках ИИ, вам придётся принять целый вагон печальных убеждений, идущих к ним прицепом.

Любой стоящий сверхинтеллект сможет создать крохотные машины, способные на всякое разное. Для начала, это нанотехнология. Мы будем жить в обществе, избавившемся от дефицита, в котором в избытке любого материала.

Поэтому второе следствие дружественного сверхинтеллекта состоит в том, что никто не умирает – и мы становимся бессмертными. Нанотехнологии также смогут сканировать ваш мозг, чтобы вы смогли загрузить его в другое тело или в виртуальный мир.

Наномашины смогут залезть мне в мозг, изучить воспоминания о моём отце, и создать его симуляцию, с которой я могу взаимодействовать, и которая всегда будет разочарована во мне, вне зависимости от того, что я делаю. Добрый ИИ сможет даже воскрешать мёртвых.

Никогда не мог понять, почему так происходит, но это основа идей трансгуманистов. Ещё одно странное следствие появления ИИ – галактическая экспансия. И эта задача становится более срочной, учитывая, что другие цивилизации могли сделать такой же выбор и могут обогнать нас в космической гонке. Судьба человечества заключается в том, чтобы либо покинуть нашу планету и колонизовать галактику, либо умереть.

Поэтому к предположению о существовании истинного ИИ прикрепляется множество странных дополнительных идей.

Религия 2.0

На самом деле, это разновидность религии. Люди называли веру в технологическую сингулярность «апокалипсисом для нёрдов», и это так и есть. Это прикольный хак – вместо того, чтобы верить во внешнего бога, вы представляете, как самостоятельно создаёте существо, функциональность которого идентична богу. Тут даже истые атеисты могут рационализировать свой путь в комфортную веру.

И, как в любой религии, тут есть даже ощущение срочности. У ИИ есть все атрибуты бога: он всемогущ, всезнающ, и либо благосклонен (если вы правильно организовали проверку границ массива), либо чистый дьявол, в милости которого вы находитесь. На кону судьбы мира! Необходимо действовать сегодня! И, конечно, им нужны деньги.

Поскольку эти аргументы взывают к религиозным инстинктам, после их укоренения их очень трудно устранить.

Этика комиксов

Эти религиозные убеждения приводят к появлению этики комиксов, в которой несколько одиноких героев получают задачу спасти мир при помощи технологий и острого ума. А на кону – судьба вселенной. В результате наша индустрия полнится богатыми чуваками, воображающими себя Бэтменом (интересно, что никто не хочет быть Робином).

Лихорадка симуляций

Если вы верите в возможность существования искусственной жизни, и что ИИ сможет разработать чрезвычайно мощные компьютеры, тогда вы, скорее всего, поверите в то, что мы живём в симуляции. Вот, как это работает.

Вы изучаете Вторую мировую войну, и вам интересно узнать, что случится, если Гитлер захватит Москву в 1941. Допустим, вы историк, живущий в мире после Сингулярности. Поскольку у вас есть доступ к гиперкомпьютерам, вы настраиваете симуляцию, смотрите за тем, как сходятся армии, и пишете научную работу.

Поэтому совет по этике вашего университета не разрешит вам отключить симуляцию. Но из-за детализированности симуляции её персонажи являются разумными существами, вроде вас. Как этичный исследователь, вы теперь обязаны поддерживать симуляцию в рабочем состоянии. Мало того, что вы симулировали Холокост.

В каком-то смысле, симуляции будут идти всё дальше и дальше по иерархии, пока у вас не кончится процессорная мощность. В итоге симулированный мир изобретёт компьютеры, ИИ, начнёт запускать собственные симуляции.

Так что любая базовая реальность может содержать огромное количество вложенных симуляций, и простой аргумент с подсчётом доказывает, что вероятность того, что мы живём в симуляции больше, чем то, что мы живём в реальном мире.

Если мы в симуляции, мы ничего не знаем о правилах на уровне выше. Но верить в это, значит, верить в волшебство. Мы даже не знаем, работает ли математика там так же – возможно, в симулирующем мире 2 + 2 = 5 или даже 2 + 2 = .

В симуляции люди могут легко восставать из мёртвых, если админ сохранил нужные бэкапы. Симулируемый мир не даёт информации о мире, в котором его запустили. А если мы свяжемся с одним из админов, то у нас, по сути, будет прямая линия с богом.

Чем глубже вы закапываетесь в мир симуляций, тем сильнее сходите с ума. Это серьёзная угроза здравомыслию.

Теперь у нас есть четыре независимых способа стать бессмертными при помощи сверхразума:

  1. Благожелательный ИИ изобретает медицинские нанотехнологии и вечно поддерживает тело в молодом состоянии.
  2. ИИ изобретает полное сканирование мозга, включая сканы мозга мёртвых людей, замороженных голов, и т.п., что позволяет вам жить в компьютере.
  3. ИИ «воскрешает» людей, сканируя мозг других людей в поисках воспоминаний о человеке, комбинирует это с видеозаписями и другими материалами. Если никто не помнит человека достаточно хорошо, его всегда можно вырастить «с нуля» в симуляции, начинающей с его ДНК и воссоздающей все условия жизни.
  4. Если мы уже живём в симуляции, есть шанс на то, что тот, кто её запустил, хранит резервные копии, и что его можно убедить их загрузить.

Вот что я имею в виду под ИИ, обращающимся к религиозным импульсам. Какая ещё система верований предлагает вам четыре варианта научно доказанного бессмертия?

Но это очень грубое намерение! Мы узнали, что по крайней мере один американский плутократ (скорее всего, Илон Маск, считающий, что шансы на то, что мы живём в симуляции, составляют миллиард к одному) нанял пару кодеров, чтобы они попытались взломать симуляцию. Я её использую!

Это куда как опаснее и безответственнее, чем учёные-ядерщики, пытающиеся взорвать атмосферу. Если вы считаете, что живёте в компьютерной программе, то попытки довести её до segfault неразумны для всех, кто живёт в ней вместе с вами.

Жажда данных

Как я уже упоминал, наиболее эффективный способ получить что-то интересное от реально созданных нами ИИ – это закидать их данными. Подобная динамика социально вредна. Мы уже вплотную подошли к оруэлловскому внедрению микрофонов в каждый дом. Данные по ИИ будут централизованными, их будут использовать для тренировки нейросетей, которые затем смогут лучше выслушивать наши пожелания.

Это лишь укрепляет идею о необходимости сбора наибольшего количеств данных и ведения наиболее всеобъемлющей слежки. Но если вы думаете, что этот путь ведёт нас к ИИ, вы захотите максимизировать количество собираемых данных и в как можно менее изменённом виде.

Теория струн для программистов

Риск ИИ – это теория струн для программистов. О ней забавно размышлять, она интересная и совершенно недоступна для экспериментов на уровне современных технологий. Можно построить мысленные кристальные дворцы, работающие на основе первичных принципов, а потом забраться в них и затянуть за собой приставную лестницу.

Люди, способные прийти к абсурдным заключениям на основе длинной цепочки абстрактных рассуждений, и остающиеся уверенными в их истинности – это не те люди, которым надо доверять управление культурой.

Побуждение к безумию

Вся это область «исследований» побуждает к безумию. Одна из отличительных черт глубоких размышлений об ИИ рисках состоит в том, что чем более безумны ваши идеи, тем популярнее вы становитесь среди других энтузиастов. Это демонстрирует вашу смелость следовать по этой цепочке размышлений до самого её конца.

В Кремниевой долине вообще полно людей, работающих над безумными проектами под прикрытием денег. Рэй Курцвейл, считающий, что не умрёт, работает в Google уже несколько лет, и сейчас, вероятно, работает именно над этой проблемой.

Косплей ИИ

Наиболее вредный социальный эффект беспокойства по поводу ИИ я называю косплеем ИИ. Люди, убеждённые в реальности и неизбежности ИИ, начинают вести себя так, как подсказывают им их фантазии по поводу того, что может сделать сверхразумный ИИ.

В своей книге Бостром перечисляет шесть вещей, в которых должен преуспеть ИИ перед тем, как захватить мир:

  1. Умножение интеллекта.
  2. Стратегическое мышление.
  3. Социальное манипулирование.
  4. Взломы.
  5. Технологические исследования.
  6. Экономическая продуктивность.

Если посмотреть на приверженцев ИИ из Кремниевой долины, то они будто бы и сами работают по этому квази-социопатическому списку.

Он, по-видимому, очарован идеей переизобретения мира с нуля, максимизации влияния и личной продуктивности. Сэм Альтман, руководитель YCombinator, это мой любимый пример такого архетипа. Он выделил команды для работы над изобретением с нуля городов, и занимается теневыми политическими махинациями с целью влияния на выборы.

Невозможно бесконечно тянуть за рычаги власти, это в итоге начнёт раздражать других членов демократического сообщества. Такое поведение «плаща и кинжала», присущее техноэлите, спровоцирует негативную обратную реакцию людей, не причастных к технологиям, которым не нравится, когда ими манипулируют.

«сообщества рационалистов» называют людей, которых не считают эффективными, «неигровыми персонажами» (NPC), термином, позаимствованным из игр. Я наблюдал, как люди из т.н. Это ужасный способ смотреть на мир.

Это подавляет. Так что я работаю в индустрии, где самопровозглашённые рационалисты являются самыми безумными людьми.

Они проецируют собственные тени на стены палатки и пугаются их, будто это чудовища. Эти косплееры ИИ похожи на девятилетних детишек, разбивших походный лагерь во дворе дома, играющихся с фонариками в палатках.

Существует петля обратной связи между тем, как умные люди представляют себе поведение богоподобного интеллекта, и как они строят собственное поведение. А на самом деле они реагируют на искажённое изображение их самих.

Так каков же ответ, как это можно исправить?

И, как во многих других случаях, у нас уже есть технология. Нам нужна научная фантастика лучшего качества!

Англоязычная НФ ужасна, но в Восточном блоке у нас есть много хороших товаров, и нам надо их правильно экспортировать. Это Станислав Лем, великий польский писатель-фантаст. Его уже активно переводили на английский, эти переводы надо просто лучше распределять.

Что отличает авторов вроде Лема или братьев Стругацких от их западных партнёров, так это то, что они выросли в сложных условиях, пережили войну, а потом жили в тоталитарных обществах, где им необходимо было выражать свои идеи не напрямую, посредством печатного слова.

У них есть реальное понимание человеческого опыта и ограничений утопического мышления, которого практически нет на Западе.

Существуют заметные исключения – это смог сделать Стэнли Кубрик – но крайне редко удаётся найти американскую или британскую НФ, в которой выражается сдержанный взгляд на то, что мы, как вид, можем делать с технологией.

Алхимики

image

Я думаю, что наше понимание разума находится примерно в том же состоянии, в котором алхимия находилась в XVII веке. Поскольку я критикую ИИ-алармизм, будет честно, если я выложу свои карты на стол.

Мы считаем их мистиками, по большей части не занимавшимися экспериментальной работой. У алхимиков плохая репутация. Во многих случаях они использовали современные экспериментальные техники, хранили лабораторные записи и задавали правильные вопросы. Современные исследования показывают, что они были куда как более прилежными химиками-практиками, чем мы считаем.

К примеру, они были убеждены в корпускулярной теории материи: в том, что всё состоит из крохотных кусочков, и что можно составлять эти кусочки друг с другом по-разному, создавая разные вещества – а это так и есть! Алхимики много чего поняли правильно!

Большое открытие, которое нужно сделать алхимику, это закон сохранения массы: вес начальных ингредиентов совпадает с весом конечных. Их проблема состояла в отсутствии достаточно точного оборудования, необходимого для совершения нужных им открытий. Современная химия не была возможной вплоть до XVIII века. Однако некоторые из них могут быть газами или испаряющимися жидкостями, и у алхимиков просто не хватало точности.

Они были одержимы ртутью. Но у алхимиков были и подсказки, сбивавшие их с толку. Это казалось алхимикам очень важным, и заставляло размещать ртуть в центре их алхимической системы и их поиска Философского камня, способа превращать неблагородные металлы в золото. Химически ртуть не особенно интересна, но это единственный метал, находящийся в жидкой фазе при комнатной температуре.

Если слишком много играться с ней, вам начнут приходить странные мысли. Нейротоксичность ртути усугубляла ситуацию. В этом смысле она напоминает наши текущие мысленные эксперименты, связанные со сверхразумом.

Первое, что бы они сделали с ним, это пролистали бы его в поисках ответа на вопрос, нашли ли мы Философский камень. Представьте, что мы отправили современный учебник химии в прошлое какому-нибудь великому алхимику вроде Джорджа Старки или Исаака Ньютона. Мы реализовали их мечту! И они бы узнали, что мы нашли его!

Постойте рядом со слитком преобразованного золота, и оно убьёт вас невидимыми волшебными лучами. Вот только нам она не так сильно нравится, поскольку после превращения металлов в золото оно получается радиоактивным.

Можно представить, как сложно было бы сделать так, чтобы современные концепции радиоактивности и атомной энергии не звучали бы для них мистически.

Нам бы пришлось объяснить им, для чего мы используем «философский камень»: для изготовления металла, которого на планете никогда не существовало, и пары горстей которого достаточно для того, чтобы взорвать целый город, если столкнуть их с достаточно высокой скоростью.

Более того, нам пришлось бы объяснить алхимикам, что все звёзды в небе представляют собой «философские камни», преобразующие одни элементы в другие, и что все частицы в наших телах происходят из звёзд с небосвода, существовавших и взорвавшихся до появления Земли.

Наконец, они узнали бы, что взаимодействия, удерживающие наши тела в целости, отвечают за появление молнии в небе, а причина, по которой мы можем видеть, совпадает с причиной, по которой магнетит притягивает металлы, и по которой я могу стоять на полу, не проваливаясь.

Почему они такие простые – это загадка и для нас. Они узнали бы, что всё, что мы видим, к чему прикасаемся и что обоняем, управляется одним этим взаимодействием, подчиняющимся настолько простым математическим законам, что их можно написать на учётной карточке. Но для них это выглядело бы, как чистый мистицизм.

У нас есть важные подсказки. И я думаю, что с теорией разума мы находимся примерно в таких же условиях. Коробка с мясом на моей шее осознаёт себя, и, надеюсь (если мы не живём в симуляции), вы ощущаете то же, что и я. Самая важная – ощущение сознание.

Но хотя это самый простой и очевидный факт в мире, мы понимаем его настолько плохо, что даже не можем сформулировать о нём научные вопросы.

Мы знаем, что все разумные существа спят и видят сны. У нас есть и другие подсказки, которые могут оказаться важными или ложными. Мы знаем, что разуму нужно играть и обучаться взаимодействию с миром, до тех пор, пока он не достигнет полноты возможностей. Мы знаем, как мозг развивается у детей, мы знаем, что эмоции и язык оказывают глубокое влияние на сознание.

Мы обнаружили компьютерные технологии, распознающие изображении и звуки способом, который вроде бы имитирует предварительную обработку визуальной и аудиоинформации в мозге. У нас также есть подсказки из информатики.

А ещё есть вещи, сложность которых мы критично недооцениваем. Однако есть множество вещей, по поводу которых мы жестоко ошибаемся, и, к сожалению, мы не знаем, какие именно это вещи.

Мы находимся на сходном этапе изучения сознания. Алхимик мог держать в одной руке камень, в другой – дерево, и считать их примерами «субстанции», не понимая, что дерево на порядки сложнее. Мы многому научимся. И это здорово! Однако есть одна цитата, которую я люблю повторять:

Если все будут размышлять о бесконечности, вместо того, чтобы ремонтировать канализацию, многие умрут от холеры.
— Джон Рич

В недалёком будущем ИИ и машинное обучение, с которыми мы столкнёмся, будут сильно отличаться от фантасмагорического ИИ из книги Бострома, и будут представлять собственные серьёзные проблемы.

Это похоже на то, как если бы те учёные из Аламогордо решили бы сконцентрироваться только на том, не взорвут ли они атмосферу, и забудут, что они вообще-то делают ядерное оружие, и должны понять, как с этим справиться.

Гнетущие этические вопросы машинного обучения связаны не с тем, что машины осознают себя и завоюют мир, а с тем, как одни люди смогут эксплуатировать других, или в результате беспечности реализуют аморальное поведение автоматических систем.

Мы наблюдаем за тем, как слежка де-факто неожиданным образом становится частью наших жизней. И, конечно, есть вопрос того, как ИИ и МО повлияют на власть. Мы не представляли себе, что это будет выглядеть именно так.

Так что мы создали мощнейшую систему социального контроля, и, к сожалению, вложили её в руки людей, отвлечённых на безумную идею.

Надеюсь, что после этого доклада вы будете чуть-чуть тупее, чем до него, и приобретёте иммунитет к соблазнительным идеям ИИ, которые, судя по всему, околдовывают более умных людей. Я надеюсь, что сегодня сумел показать вам опасность чрезмерного ума.

Действуйте самостоятельно! Все мы должны выучить урок кота Стивена Хокинга: не давайте гениям, управляющим индустрией, ни в чём вас убедить.

В отсутствии эффективного лидерства со стороны первых людей индустрии, именно мы должны делать всё сами – в том числе, обдумывать все этические проблемы, которые реально существующий ИИ приносит в мир.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть