Хабрахабр

Этические вопросы искусственного интеллекта

Автор статьи — Алексей Маланов, эксперт отдела развития антивирусных технологий «Лаборатории Касперского»

В будущем, наверное, все будет классно, но пока возникают кое-какие вопросы, и все чаще эти вопросы затрагивают аспекты морали и этики. Искусственный интеллект врывается в нашу жизнь. Когда он будет изобретен? Можно ли издеваться над мыслящим ИИ? Какие сюрпризы преподносит нам машинное обучение уже сейчас? Что мешает нам уже сейчас написать законы робототехники, вложив в них мораль? Можно ли обмануть машинное обучение, и насколько это сложно?

Есть две разных вещи: Сильный и Слабый ИИ.
Сильный ИИ (true, general, настоящий) — это гипотетическая машина, способная мыслить и осознавать себя, решать не только узкоспециализированные задачи, но и еще и учиться чему-то новому.

п. Слабый ИИ (narrow, поверхностный) — это уже существующие программы для решения вполне определенных задач, таких как распознавание изображений, автовождение, игра в Го и т. Чтобы не путаться и никого не вводить в заблуждение, мы предпочитаем называть Слабый ИИ «машинным обучением» (machine learning).

Про Сильный ИИ еще неизвестно, будет ли он вообще когда-нибудь изобретен. С одной стороны, до сих пор технологии развивались с ускорением, и если так пойдет и дальше, то осталось лет пять.

Гораздо чаще все-таки мы видим логистическую кривую. С другой стороны, мало какие процессы в природе в действительности протекают по экспоненте.

Например, еще недавно население Земли росло с таким ускорением. Пока мы где-то слева на графике, нам кажется, что это экспонента. Но в какой-то момент происходит «насыщение», и рост замедляется.

Когда экспертов опрашивают, выясняется, что в среднем ждать еще лет 45.

Возможно в Азии они что-то такое знают… Что любопытно, североамериканские ученые считают, что ИИ превзойдет человека через 74 года, а азиатские — что всего через 30.

С Го уже промашка вышла, ведь этот момент наступил в 2017-м, всего через 2 года после прогноза. Эти же ученые предсказывали, что машина будет переводить лучше человека к 2024 году, писать школьные сочинения — к 2026-му, водить грузовики — к 2027-му, играть в Го — тоже к 2027-му.

Это означает «когда-нибудь». Ну, а вообще, прогнозы на 40+ лет вперед — дело неблагодарное. Такой же прогноз давали и 50 лет назад, когда ее только начали изучать. Например, рентабельную энергию термоядерного синтеза тоже прогнозируют через 40 лет.

Хоть Сильный ИИ ждать долго, но мы точно знаем, что этических проблем будет хватать. Первый класс проблем — мы можем обидеть ИИ. Например:

  • Этично ли мучить ИИ, если он способен чувствовать боль?
  • Нормально ли оставить ИИ без общения надолго, если он способен чувствовать одиночество?
  • А можно использовать его как домашнее животное? А как раба? А кто это будет контролировать и как, ведь это программа, которая работает «живет» в вашем «смартфоне»?

Сейчас никто не возмутится, если вы обидите своего голосового помощника, но если вы будете плохо обращаться с собакой, вас осудят. И это не потому, что она из плоти и крови, а потому, что она чувствует и переживает плохое отношение, как это будет и с Сильным ИИ.

Сотни таких примеров можно найти в фильмах и книгах. Второй класс этических проблем — ИИ может обидеть нас. Люди для ИИ — как муравьи для рабочих, строящих плотину: ради великой цели можно и раздавить парочку. Как объяснить ИИ, чего же мы от него хотим?

Мы привыкли думать, что Скайнет и Терминаторов пока нет, и будут они нескоро, а пока можно расслабиться. Научная фантастика играет с нами злую шутку. При этом в мыслях о будущем мы забываем хорошо подумать о настоящем. ИИ в фильмах часто вредоносный, и мы надеемся, что в жизни такого не будет: ведь нас же предупредили, и мы не такие глупые, как герои фильмов.

Машинное обучение позволяет решать практическую задачу без явного программирования, а путем обучения по прецедентам. Подробнее вы можете почитать в статье «Простыми словами: как работает машинное обучение».

Нормально делай — нормально будет. Так как мы учим машину решать конкретную задачу, то полученная математическая модель (так называется алгоритм) не может внезапно захотеть поработить/спасти человечество. Что же может пойти не так?

Во-первых, сама решаемая задача может быть недостаточно этичной. Например, если мы при помощи машинного обучения учим дронов убивать людей.

Компания Google разрабатывает программное обеспечение, используемое для пилотного военного проекта Project Maven по управлению дронами. Как раз недавно по этому поводу разгорелся небольшой скандал. Предположительно, в будущем это может привести к созданию полностью автономного оружия.


Источник

Более 1000 видных ученых в области ИИ, этики и информационных технологий написали открытое письмо с просьбой к Google прекратить работы над проектом и поддержать международный договор по запрету автономного оружия. Так вот, минимум 12 сотрудников Google уволились в знак протеста, еще 4000 подписали петицию с просьбой отказаться от контракта с военными.

Но даже если авторы алгоритма машинного обучения и не хотят убивать людей и приносить вред, они, тем не менее, часто все-таки хотят извлечь выгоду. Иными словами, не все алгоритмы работают на благо общества, очень многие работают на благо создателей. Это часто можно наблюдать в области медицины — важнее не вылечить, а порекомендовать побольше лечения. Вообще, если машинное обучение советует что-то платное — с большой вероятностью алгоритм «жадный».

Например, есть компромисс между скоростью движения транспорта и смертностью на дорогах. Ну, а еще иногда и само общество не заинтересовано, чтобы полученный алгоритм был образцом морали. Мы могли бы сильно снизить смертность, если бы ограничили скорость движения до 20 км/ч, но тогда жизнь в больших городах была бы затруднительна.

Представьте, мы просим алгоритм сверстать бюджет страны с целью «максимизировать ВВП / производительность труда / продолжительность жизни». В постановке этой задачи нет этических ограничений и целей. Зачем выделять деньги на детские дома / хосписы / защиту окружающей среды, ведь это не увеличит ВВП (по крайней мере, прямо)? И хорошо, если мы только бюджет поручаем алгоритму, а то ведь в более широкой постановке задачи выйдет, что неработоспособное население «выгоднее» сразу убить, чтобы повысить производительность труда.

Выходит, что этические вопросы должны быть среди целей системы изначально.

С этикой одна проблема — ее сложно формализовать. В разных странах разная этика. Она меняется со временем. Например, по таким вопросам, как права ЛГБТ и межрасовые/межкастовые браки, мнение может существенно измениться за десятилетия. Этика может зависеть от политического климата.

В других странах отношение к этому вопросу может быть иным и зависеть от обстановки. Например, в Китае контроль за перемещением граждан при помощи камер наружного наблюдения и распознавания лиц считается нормой.

Представьте систему на базе машинного обучения, которая советует вам, какой фильм посмотреть. На основе ваших оценок, выставленных другим фильмам, и путем сопоставления ваших вкусов со вкусами других пользователей система может довольно надежно порекомендовать фильм, который вам очень понравится.

Без системы вы бы время от времени смотрели и плохие фильмы, и фильмы непривычных жанров. Но при этом система будет со временем менять ваши вкусы и делать их более узкими. В итоге мы перестаем быть «экспертами по фильмам», а становимся только потребителями того, что дают. А так, что ни фильм — то в точку. Интересно еще и то, что мы даже не замечаем, как алгоритмы нами манипулируют.

В Китае готовится к запуску Система социального рейтинга — система оценки отдельных граждан или организаций по различным параметрам, значения которых получают с помощью инструментов массового наблюдения и используя технологию анализа больших данных. Если человек покупает подгузники — это хорошо, рейтинг растет. Если вы скажете, что такое воздействие алгоритмов на людей — это даже хорошо, то вот другой пример. Если общается с человеком с низким рейтингом, то тоже падает. Если тратит деньги на видеоигры — это плохо, рейтинг падает.

Меньше общаться с неблагонадежными гражданами, больше покупать подгузников и т. В итоге выходит, что благодаря Системе граждане сознательно или подсознательно начинают вести себя по-другому. п.

Помимо того, что мы порой сами не знаем, чего хотим от алгоритма, существует еще и целая пачка технических ограничений.

Если в качестве обучающей выборки для алгоритма по найму сотрудников использовать данные из компании с расистскими политиками, то алгоритм тоже будет с расистским уклоном. Алгоритм впитывает несовершенство окружающего мира.

Его пришлось выключить менее чем через сутки, потому что бот быстро освоил ругательства и расистские высказывания. В Microsoft однажды учили чат-бота общаться в Twitter’е.

Например, при расчете рекомендации подсудимому — признать или не признать вину на основе собранных доказательств, алгоритму сложно учесть, какое впечатление такое признание произведет на судью, потому что впечатление и эмоции нигде не записаны. Кроме этого, алгоритм при обучении не может учесть какие-то неформализуемые параметры.

Ложная корреляция — это когда кажется, что чем больше пожарных в городе, тем чаще пожары. Или когда очевидно, что чем меньше пиратов на Земле, тем теплее климат на планете.

Так вот — люди подозревают, что пираты и климат не связаны напрямую, и с пожарными не все так просто, а матмодель машинного обучения просто заучивает и обобщает.

Программа, которая расставляла больных по очереди по срочности оказания помощи, пришла к выводу, что астматикам с пневмонией помощь нужна меньше, чем просто людям с пневмонией без астмы. Известный пример. А не умирают они на самом деле потому, что такие больные тут же получают лучшую помощь в медицинских учреждениях в связи с очень большим риском. Программа посмотрела на статистику и пришла к выводу, что астматики не умирают — зачем им приоритет?

Программа предупреждения преступности в Калифорнии предлагала отправлять больше полицейских в черные кварталы, основываясь на уровне преступности (количестве зафиксированных преступлений). Хуже ложных корреляций только петли обратной связи. В итоге преступность только возрастает — значит, надо отправить еще больше полицейских, и т. А чем больше полицейских машин в области видимости, тем чаще жители сообщают о преступлениях (просто есть кому сообщить). д.

Иными словами, если расовая дискриминация — фактор ареста, то петли обратной связи могут усилить и увековечить расовую дискриминацию в деятельности полиции.

В 2016 году Big Data Working Group при Администрации Обамы выпустила отчет, предупреждающий о «возможном кодировании дискриминации при принятии автоматизированных решений» и постулирующий «принцип равных возможностей».

Но сказать-то легко, а что же делать?

Вот, например, приложение Google Photo распознавало людей с черным цветом кожи как горилл. Во-первых, матмодели машинного обучения тяжело тестировать и подправлять. Если обычные программы мы читаем по шагам и научились их тестировать, то в случае машинного обучения все зависит от размера контрольной выборки, и она не может быть бесконечной. И как быть? За три года Google не смогли придумать ничего лучше, кроме как выключить распознавание горилл, шимпанзе и обезьян вовсе, чтобы не допускать повторения ошибки.

Например, нейронная сеть как-то расставила внутри себя весовые коэффициенты, чтобы получались правильные ответы. Во-вторых, нам сложно понять и объяснить решения машинного обучения. А почему они получаются именно такими и что сделать, чтобы ответ поменялся?

Сервис доставки в тот же день от Amazon был регулярно недоступен в черных кварталах. Исследование 2015 года показало, что женщины гораздо реже, чем мужчины, видят рекламу высокооплачиваемых должностей, показываемую Google AdSense. В обоих случаях представители компаний затруднились объяснить такие решения алгоритмов.

Выходит, винить некого, остается принимать законы и постулировать «этические законы робототехники». Германия как раз недавно, в мае 2018 года, выпустила такой вот свод правил по поводу беспилотных автомобилей. Среди прочего там записано:

  • Безопасность людей — наивысший приоритет по сравнению с уроном животным или собственности.
  • В случае неизбежной аварии не должно быть никакой дискриминации, ни по каким факторам недопустимо различать людей.

Но что особенно важно в нашем контексте:
Автоматические системы вождения становятся этическим императивом, если системы вызывают меньше аварий, чем водители-люди.

Очевидно, что мы будем все больше и больше полагаться на машинное обучение — просто потому, что оно в целом будет справляться лучше людей.

И тут мы подходим к не меньшей напасти, чем предвзятость алгоритмов — ими можно манипулировать.

Отравление машинного обучения (ML poisoning) означает, что если кто-то принимает участие в обучении матмодели, то он может влиять на принимаемые матмоделью решения.

Ландшафт угроз постоянно меняется, поэтому изменения в модели в виде обновлений антивирусных баз доставляются в антивирусные продукты на стороне пользователей. Например, в лаборатории по анализу компьютерных вирусов матмодель ежедневно обрабатывает в среднем по миллиону новых образцов (чистых и вредоносных файлов).

Граница между чистыми и вредоносными файлами будет постепенно стираться, модель будет «деградировать». Так вот, злоумышленник может постоянно генерировать вредоносные файлы, очень похожие на какой-то чистый, и отправлять их в лабораторию. И в итоге модель может признать оригинальный чистый файл вредоносом — получится ложное срабатывание.

И наоборот, если «заспамить» самообучающийся спам-фильтр тонной чистых сгенерированных писем, то в итоге удастся создать такой спам, который через фильтр пройдет.

Поэтому в «Лаборатории Касперского» многоуровневый подход к защите, мы не полагаемся только на машинное обучение.

В систему распознавания лиц можно добавлять специально сгенерированные лица, чтобы в итоге система стала путать вас с кем-то другим. Другой пример, пока вымышленный. Не надо думать, что это невозможно, взгляните на картинку из следующего раздела.

Отравление — это воздействие на процесс обучения. Но необязательно участвовать в обучении, чтобы получить выгоду — обмануть можно и готовую матмодель, если знать, как она устроена.

Надев специально раскрашенные очки, исследователи выдали себя за других людей — знаменитостей

Без контроля со стороны человека будет именно так, как на картинке. Этот пример с лицами пока не встречался в «дикой природе» — именно потому, что никто пока не доверил машине принимать важные решения, основываясь на распознавании лиц.

Даже там, где, казалось бы, нет ничего сложного, машину легко обмануть неведомым для непосвященного способом.


Первые три знака распознаются как «Ограничение скорости 45», а последний — как знак STOP

Причем для того, чтобы матмодель машинного обучения признала капитуляцию, необязательно вносить существенные изменения, достаточно минимальных невидимых человеку правок.

Если к панде слева добавить минимальный специальный шум, то машинное обучение будет уверено, что это гиббон

Представьте себе, что в недалеком будущем машинное обучение будет анализировать рентгеновские снимки чемоданов в аэропорту и искать оружие. Пока человек умнее большинства алгоритмов, он может обманывать их. Умный террорист сможет положить рядом с пистолетом фигуру особенной формы и тем самым «нейтрализовать» пистолет.

Аналогично можно будет «взломать» китайскую Систему социального рейтинга и стать самым уважаемым человеком в Китае.

Давайте подытожим, что мы успели обсудить.

  1. Сильного ИИ пока нет.
  2. Мы расслаблены.
  3. Машинное обучение будет сокращать количество жертв в критических областях.
  4. Мы будем полагаться на машинное обучение все больше и больше.
  5. У нас будут добрые намерения.
  6. Мы даже будем закладывать этику в дизайн систем.
  7. Но этика тяжело формализуется и различна в разных странах.
  8. В машинном обучении полно предвзятости по разным причинам.
  9. Мы далеко не всегда можем объяснить решения алгоритмов машинного обучения.
  10. Машинное обучение можно отравить.
  11. И даже «взломать».
  12. Злоумышленник так может получить преимущество перед другими людьми.
  13. Машинное обучение оказывает влияние на наши жизни.

И все это — ближайшее будущее.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть