Hi-Tech

Ключевые идеи книги «Армия без людей: автономное оружие и будущее войны»

Издание вошло в топ-5 лучших книг 2018 года по версии Билла Гейтса.

В закладки

Автор книги рассказывает об использовании искусственного интеллекта в военных конфликтах, о том, как могут выглядеть войны будущего, и о последних разработках в области автономного оружия. Редакция сервиса ключевых идей бестселлеров по бизнесу и саморазвитию MakeRight.ru подготовила ключевые идеи не изданного на русском бестселлера «Армия без людей» Пола Шарра.

Небо патрулируют дроны, используются наземные роботы, беспилотники обнаруживают и уничтожают вражеские радары. Сегодня военные многих стран активно осваивают робототехнику. Все это лишь часть общей технологической тенденции — непрерывного развития искусственного интеллекта. И это только начало. На войне он сможет подсказывать человеку правильные решения, а со временем и принимать их самостоятельно. Самообучающийся искусственный интеллект (ИИ) делает роботов все более автономными, позволяет им обрабатывать все больше данных.

Еще в начале 20 века промышленная революция позволила создать танки, самолеты и пулеметы, убойная сила которых намного превосходила все оружие, использованное ранее. Технический прогресс помогает человечеству развиваться, но когда он служит военным задачам, последствия бывают самыми ужасными. ИИ может принимать некоторые решения быстрее и лучше человека — например, лучше прокладывает сложные маршруты, организует защиту и эвакуацию.

Но использование ИИ в качестве оружия вызывает у Пола Шарра, автора книги, ветерана и эксперта Пентагона по обороне, опасения.

Так, широко известен случай советского подполковника Станислава Петрова, который при помощи новой системы «Око» наблюдал, не полетят ли вражеские ракеты в сторону территории СССР. Когда решение об использовании оружия принимает человек, он учитывает контекст ситуации и не всегда действует строго по инструкции.

Наземные радары никаких ракет не зафиксировали. Однажды «Око» приняло за ракеты солнечное отражение от ледяных вершин и перед Петровым встала задача — немедленно рапортовать вышестоящему руководству о начале войны или подождать. ИИ на его месте не стал бы учитывать контекст, запрашивать дополнительные данные и сомневаться. Петров сообщил начальству, что система «Око» неисправна. У машины нет анализа последствий своих действий, она делает то, на что запрограммирована.

Они залегли в засаде рядом с деревушкой, но поняли, что их заметили. В 2004 году автор в составе снайперской группы патрулировал горы Афганистана. Вскоре появились талибы, но группе удалось отбиться и эвакуироваться. Из деревни вышла девочка лет пяти-шести со стадом коз и ходила поблизости, что-то говоря в трубку рации.

Убийство девочки было бы законным в рамках войны, но никто этого не сделал. Никто из них и не подумал стрелять в ребенка, хотя в военных инструкциях возраст противника, которого можно убить, не указан. Она не понимает контекст и у нее нет моральных норм, с точки зрения которых законный поступок не всегда является правильным. Машина сделала бы это не задумываясь. И к чему это приведет? Так можно ли доверить военным машинам решения о жизни и смерти?

Он анализирует случаи, когда что-то пошло не так, и рассказывает о перспективах ИИ, который используется для боевых задач, в том числе о полностью автономном ИИ, действующем практически без участия человека. Пол Шарр посвятил свою книгу роботизированному оружию последнего поколения, управляемому ИИ.

Если такое произойдет с ИИ на службе у военных, последствия могут быть куда более тяжелыми. В свое время ИИ начали активно использовать в биржевой торговле акциями, что привело к сбою на Уолл-стрит. Глубокое обучение ИИ представляет собой не только могучую силу, но и потенциальную угрозу, потому что даже его разработчики не могут предвидеть всех последствий его эксплуатации.

Разработки такого оружия могут вызвать глобальную гонку вооружений — эти опасения высказывали и Хокинг, и Маск, и Стив Возняк, и многие другие. Множество ученых, военных и технических экспертов уже высказали справедливые опасения по поводу наступательного автономного оружия. Но что делать, если гонка уже началась?

Даже запрет на химическое оружие постоянно нарушается режимами-изгоями. В начале ХХ века делались попытки запретить подводные лодки и самолеты, из-за их разрушительной мощи, но это не помешало их распространению. Пока ни одна страна не обнародовала публично свои разработки в области автономного оружия, но автор уверен, что работа над ним ведется очень активно в самых разных странах. А кто помешает им работать над созданием роботов-убийц?

Кроме того, компьютеры быстрее оценивают обстановку и реагируют. Пока еще для окончательного решения на поле боя боевым роботам требуется команда человека, но военные могут делегировать свои полномочия автономному оружию, например, в условиях потери связи с командованием во время боевых действий.

Но при их неправильном использовании интересы гражданских лиц просто не будут приниматься машиной в расчет. С одной стороны, интеллектуальные машины могут минимизировать человеческие жертвы, повысить точность ударов, что поможет избежать жертв среди мирного населения. Так или иначе, автор считает, что использование автономного оружия неизбежно, главный вопрос в том, как именно оно будет использоваться и кто кого при этом будет контролировать. Кроме того, если несколько стран будут практиковать разумный подход в использовании автономного оружия, это вовсе не значит, что их примеру последуют остальные.

Вот важные идеи книги.

Идея № 1. Робототехника на поле боя все еще сильно зависит от человека, и потому разработчики стремятся к большей автономности оружия

В военной промышленности происходит то же самое, и это меняет прежние представления о войне. В мирной жизни четко обозначилось направление на развитие робототехники — создание самоуправляемых автомобилей, роботов-пылесосов, роботов-газонокосилок и тому подобного. Их возможности намного превосходят человеческие — роботы не устают, они более маневренны, им можно придать любую форму, сделать практически незаметными. Десятки стран работают над созданием боевых роботов — морских, наземных, воздушных. Там, где человек наверняка погибнет, робот выживет и выполнит боевую задачу. Они не нуждаются в пище и отдыхе.

Если связь прервется, возможности робота будут сильно ограничены, они сведутся только к простейшим действиям. При всем этом роботы по-прежнему зависят от человека, поскольку управляются людьми, пусть и дистанционно, а кроме того, — от каналов связи, по которым передаются сигналы оператора. И потому военные многих стран стремятся сделать их более автономными.

В свое время они в малом количестве использовались еще во Вьетнаме, но после окончания войны о них забыли. Шарр приводит в пример самолеты-беспилотники. К 2011 году в армию США были внедрены не только маленькие дроны, но и большие самолеты, и наземные роботы, которые обезвреживали бомбы. И лишь с началом конфликтов в Ираке и Афганистане с помощью беспилотников начали проводить разведку, круглосуточно наблюдая за противником.

Роботы используются не только в воздухе, но и на воде для защиты кораблей от возможных угроз.

Степень автономии удалось повысить, используя «рой» — систему, в которой оператор отдает команду одному из 20 поднятых в воздух дронов, а затем с этим дроном координируются остальные, действуя по принципу пчелиного роя, птичьей стаи или колонии муравьев, которые используют коллективный разум. Пентагону нужны были не просто машины, управляемые человеком, а интеллектуальные, способные оценить среду, адаптироваться к ней и действовать самостоятельно.

Впоследствии алгоритм отрегулировали, и сегодняшний рой ведет себя более рационально. Первый рой при полевых испытаниях показал свои слабые места: так, при учебном бое в воздухе пять дронов атаковали один дрон «противника», забыв про остальные, что приводило к сумятице. Военные поставили цель — создание полностью автономных роев. Однако рою по-прежнему требуется человек, даже если он находится за много километров от него. Тот же процесс происходит и в использовании отдельных беспилотных самолетов, которым инженеры добавляют все новые задачи.

В 2014 году беспилотный самолет сам нашел импровизированную посадочную площадку и сел на нее. Так, в 2013 году беспилотник ВМС США успешно совершил посадку на платформу в океане, получив от оператора только команду приземлиться. Так постепенно боевые машины продвигаются по пути все большей автономии, оставаясь под наблюдением человека, но проявляя самостоятельность в решении все более сложных задач. В 2015 году другой беспилотный самолет сделал в воздухе успешную дозаправку от другого самолета. Вскоре люди будут лишь ставить задачу, а способы ее решения робот найдет самостоятельно.

Министерство обороны США, несмотря на огромный спрос на дроны в Ираке и Афганистане и стремление сделать их как можно более автономными, постановило, что в обозримом будущем это смертоносное оружие останется под контролем человека. У автономного оружия должны быть границы, но пока еще непонятно, где они находятся. Но технологии ИИ развиваются стремительно, и последствия этого для боевых действий предвидеть невозможно.

Его робот-пылесос, забираясь в ванную комнату, бьется о стенки и дверь и часто застревает там, не в силах выбраться. Автор приводит в пример собственную бытовую технику. Дом остается грязным, зато ванная идеально убрана.

Это обычные бытовые приборы, но принципы их работы похожи на принципы работы боевых машин. Домашняя система климат-контроля однажды превратила дом в духовку, повысив температуру до максимально возможной, пока хозяев не было дома. Что, если и им будут свойственны такие же ошибки, когда речь идет об использовании оружия против врага или спасении своих солдат?

Ответ на этот вопрос остается открытым.

Идея № 2. Полностью автономное оружие должно быть многоразовым и иметь канал связи с человеком

С автоматическим все ясно — автоматические пистолеты и пулеметы начали применять еще в конце XIX -начале ХХ века: они стреляли очередями. Автор классифицирует типы оружия как автоматическое, полуавтономное и полностью автономное.

Автоматическое оружие стреляло до тех пор, пока палец оставался на курке. Пистолеты старого типа были полуавтоматическим оружием, которое требовало нового нажатия на спуск, чтобы выпустить следующую пулю. С тех пор размеры, вес и убойная сила автоматического оружия совершенствовались, и сегодня можно встретить огромное количество автоматов, пистолетов и пулеметов различных модификаций.

Но военные разработки не стоят на месте, и следующим шагом стало создание самонаводящегося оружия. Такое оружие полностью зависит от человека, нажимающего на курок, оно не способно воспринимать цели.

Торпеду Falke, выпускаемую с подводной лодки, снабдили акустическими датчиками, информация с которых поступала в самонаводящийся искатель цели. Первыми были созданы самонаводящиеся торпеды, которые несколько раз использовались Германией во Второй мировой войне.

Американцы выпустили свою самонаводящуюся торпеду Wren с улучшенным искателем, и с тех пор разработки в области самонаводящегося оружия не прекращаются. Сначала это вызвало энтузиазм, но когда торпеды Falke дважды потопили подлодки, с которых были выпущены, ориентируясь на звук винта, их пришлось дорабатывать: выпускать при выключенном двигателе или активировать искатель цели, когда торпеда отойдет на большое расстояние.

В других случаях он с помощью радара дает ракете или торпеде точку прицеливания в режиме реального времени, имея возможность в любой момент прекратить атаку или перенаправить ракету к другой цели. Многие виды оружия требуют дистанционного участия человека, который сам определяет цель.

Однако руководит ими человек. Другие виды оружия обладают некоторой автономией: после запуска полет прервать или изменить нельзя. У них есть зачатки интеллекта, позволяющего ощутить окружение, определить правильный курс и маневрировать для поражения цели, но этим их автономия и ограничена.

Люди определяют одни объекты как угрозу и помечают другие как нейтральные, чтобы система могла их игнорировать. Сегодня существуют контролируемые автономные системы вооружения, когда человек минимально участвует в их работе, например, в экстренных случаях.

Такое оружие само ведет поиск, определяет цель и принимает решение об атаке. И наконец, есть несколько видов полностью автономного оружия, действующего без присмотра человека. Оно подолгу может находиться в воздухе, отыскивая цель, и, как только находит ее — уничтожает. Это так называемое блуждающее оружие.

Блуждающему оружию не нужны точные координаты целей (самонаводящемуся оружию нужны). Это самостоятельная боевая система, которую человек отправляет в небо для поиска потенциального врага — на этом его участие заканчивается.

Она блуждает в радиусе 500 км, отыскивая вражеские радары и уничтожая их с воздуха, оставаясь в воздухе больше 2,5 часов. Созданная в Израиле система «Гарпия» относится к такому блуждающему оружию. Объект уничтожения «Гарпия» выбирает сама.

Но степень автономии и интеллект — разные вещи, считает автор. Многие считают, что автономным может быть только оружие с высоким интеллектом. Алгоритмы, управляющие автономным оружием, пока достаточно просты, поскольку военные еще не вполне доверяют таким типам вооружения и не хотят в придачу к автономии снабдить оружие высоким интеллектом.

Отдельные экземпляры закупаются другими странами для модификации — так, например, Китай закупил «Гарпию» для того, чтобы создать собственный, более дешевый аналог, изучив прототип. Полностью автономное оружие очень дорого в производстве, которое не поставлено на поток.

Если автономный дрон запущен в воздух с заданием уничтожить цель, но этой цели просто нет поблизости, человек должен вернуть его на базу без поражения цели во избежание выстрелов во что-нибудь другое. Кроме того, военные не хотят оставлять системы такого типа без присмотра и воздействия, а потому некоторые военные эксперты считают, что оператору нужно иметь возможность обращаться к автономной системе, чтобы вернуть ее домой в экстренном случае или отменить задание.

Автономные системы часто используют для вспомогательных функций типа логистики, но редко применяют в настоящем бою, и военные пока недостаточно финансируют их, не вполне доверяя подобным системам.

Идея № 3. Разработка автономных систем для разведки и ориентирования — лишь ступенька для создания более смертоносного оружия

FLA планируется применять для высокоскоростной автономной навигации в сложных условиях, например, в завалах или захламленных помещениях. В пример автор приводит исследовательский проект FLA, создаваемый по инициативе DAPRA, агентства департамента обороны США, отвечающего за разработку новых военных технологий.

Пока что дроны не носятся на высокой скорости, а медленно ползают вокруг препятствий, но делают это полностью автономно. Стандартные квадрокоптеры снабжают датчиками, процессорами и алгоритмами, чтобы они могли перемещаться автономно на высокой скорости. Их камеры, гидролокатор и лидар позволяют определить препятствие и обогнуть его самостоятельно, не дожидаясь команды от человека.

Датчики должны обнаруживать потенциальные препятствия и отслеживать их, а скорость этого зависит от его процессора, который планируется сделать более мощным, чтобы квадрокоптеры могли маневрировать на высоких скоростях.

Они не ищут цель и не несут никаких боеприпасов, использовать их предполагается только для внутренней разведки и при стихийных бедствиях (например, в полуразрушенных землетрясением зданиях или затопленных объектах, из которых нужно выбраться кратчайшим и безопасным путем). На первый взгляд квадрокоптеры FLA не выглядят как потенциально опасное оружие.

Эти квадрокоптеры даже не наделены способностью искать и находить цели, и тем не менее у программы FLA есть свои яростные критики. Проект FLA работает над созданием нового класса маленьких беспилотных квадрокоптеров, которые быстро перемещаются по пространству со множеством препятствий. Один из них — Стюарт Рассел, специалист по ИИ, написавший учебник по этой теме.

В открытом письме он предлагал запретить проект FLA, поскольку следующим после него шагом станет использование смертоносного автономного оружия.

В разговоре с автором Рассел сказал, что в маленьких быстрых квадрокоптерах он видит следующую ступеньку, куда менее безобидную.

Можно сделать их диаметром в дюйм, набить ими пару грузовиков и снабдить алгоритмом для поражения целей. Маленькие быстрые противопехотные дроны, которые движутся роем, могут быть направлены против человека и за короткое время уничтожить население небольшого города. Внутренняя навигация — лишь предварительный этап для создания маленького и эффективного автономного оружия.

Дроны под контролем одного человека работают сообща, охотясь на противника вместе, подобно стае волков. Другая программа DARPA, вызывающая опасения, называется CODE и направлена на совместные операции. Человек находится в самолете на большом расстоянии и может видеть все маневры управляемых им дронов.

Но разработчики работают над кодом так, чтобы дроны могли действовать самостоятельно, получив лишь единственную команду, после которой они разделяют задачи между собой и действуют. Работа этой «стаи» должна проходить в условиях ограничения связи, так как связь с человеком в самолете может прерваться в любой момент.

Если цели мобильные, значит, их местоположение невозможно определить заранее. Группа беспилотников находит мобильные и перемещаемые цели и уничтожает их. Человек сам принимает решение, одобряя или запрещая уничтожение целей. Дроны обращаются за командой к человеку, и для этого разработана специальная технология, позволяющая связываться с ним даже в нестабильных средах. Якобы именно таков замысел разработчиков.

Он может вычленить те объекты, которые нельзя атаковать. Согласно пресс-релизу, человек должен обозначить курсором квадрат действия и дать стае команду. Это уже практически автономное оружие, которое само поражает цели, считает автор. Но в момент боя неожиданно может выплыть новая цель, и тогда ракеты могут действовать самостоятельно, не обращаясь к оператору, адаптируясь к возникшей ситуации.

Это делается для улучшения работы беспилотников, но последствия могут быть весьма опасными. Уже сегодня в DARPA работают над использованием нейронной сети глубокого обучения, которая будет самостоятельно делать выводы о целях для поражения.

Идея № 4. Помимо беспилотников, все больше стран разрабатывает и использует боевых роботов

Другие стремятся не отстать, и таким образом технология развивается и распространяется. Этот процесс охватил большое количество стран, многие из которых опережают США в развитии робототехники.

Израиль для патрулирования границ с Газой использует роботизированную машину Guardium, а для патрулирования побережья — робот-катер «Защитник». Южная Корея использует боевых роботов на границе с Северной Кореей. Даже в Ираке в 2015 году повстанцами создан собственный вооруженный робот. У России есть наземные боевые роботы и ведется работа над созданием робота-танка. Возможно, в какой-то из этих стран уже планируется сделать роботов полностью автономными. Сингапур и Эквадор используют катера-роботы для борьбы с пиратством.

Правда, до сих пор ни одна страна не заявляла о подобных планах, но только 22 страны прямо поддерживают запрет на смертоносное автономное оружие, и ни одна из них не относится к крупным военным державам.

Это стационарный вооруженный часовой, защищающий границу. Южнокорейская корпорация Samsung построила собственного робота SGR-A1. Правда, инженеры Samsung утверждают, что решение о стрельбе принимает человек, а не робот, но не исключено, что он может работать в полностью автономном режиме. О его существовании мир узнал в 2007 году, после статьи в журнале IEEE Spectrum, сообщившем, что робот полностью автономный. Южная Корея пока не пускает экспертов для осмотра своего робота, но дает понять, что поскольку над страной постоянно висит угроза вторжения северного соседа, она готова нарушить принцип участия человека, переведя робота в автономный режим.

По словам автора, Россия уже давно разрабатывает наземных боевых роботов для различных боевых задач, от защиты стратегически важных объектов до уличных боев.

На ход будущих сухопутных войн может сильно повлиять степень автономии подобных роботов. Уже созданы и небольшие роботы для поддержки пехоты, и роботизированные танки.

Это компактная гусеничная машина с гранатометом и штурмовой винтовкой. Один из российских роботов — «Платформа-М». Согласно официальному заявлению российских военных, машину создали для ликвидации вооруженных формирований в городских условиях и нанесения ударов по стационарным и мобильным целям. Она уже принимала участие в боевых учениях вместе с другими войсками в 2014 году.

Можно подумать, что речь идет об использовании автономного оружия, но это не так: цель выбирают военные на экране компьютера. Кроме того, она может уничтожать цели в автоматических или полуавтоматических системах управления. Но с развитием нейронных сетей задача стала легче, хотя все равно она остаётся непростой: возможны ложные срабатывания, стрельба по своим или союзникам. Она направлена в основном против людей, а не объектов, и до 2014 года идентифицировать врагов на поле боя было для машины сложно. Идентификация своих и чужих в принципе сложна, если вообще возможна, для алгоритма.

Удаленный оператор «Волка» может выбрать до 10 целей и дать роботу команду бомбардировки. У России есть и робот-танк под названием «Волк-2». Есть и робот-амфибия «Арго» с пулеметом и гранатометом, и роботизированная компактная система A800 для перевозки пехоты и снаряжения.

Они могут вести обстрел из укрытия, что позволяют их достаточно компактные размеры. Танки-роботы«Уран-9» и «Вихрь» оснащены противотанковыми ракетами и намного легче обычных танков, потому и дешевле в производстве. Цели задает оператор, но у «Вихря» есть возможность самостоятельно зафиксировать цель и стрелять, пока она не будет уничтожена.

В будущем планируется роботизировать современный танк «Армата», оснастив его продвинутым ИИ, способным просчитывать боевую ситуацию и принимать самостоятельное решение. Задать им возможность автономных решений находить и уничтожать танки противника намного легче, чем отличить чужую пехоту от своей.

Пока еще преждевременно считать, что уже идет гонка вооружений в автономных системах, в частности, роботизированных, но, по мнению автора, процесс может начаться в любую минуту, ведь достаточно переписать программу дистанционного управления на программу автономной работы.

Можно купить дрон в Интернете, доработать его, поработать над программным обеспечением — и технически подкованный террорист вполне может выпустить его в оживленном месте для охоты на людей. Кроме того, автор опасается, что технология создания автономного оружия сегодня доступна не только государствам, но и отдельным лицам.

Идея № 5. Автономная система может давать опасные сбои

Точнее, люди в этой ситуации слишком доверились системе, не подвергнув сомнению ее выводы, и дали команду сбивать. Шарр приводит несколько примеров работы противовоздушных полуавтоматических систем Patriot, когда они принимали собственные самолеты за вражеские ракеты и сбивали их, несмотря на контроль человека.

В свое время автопилоты повысили безопасность полетов. Многие эксперты уверены, что в целом автономные системы более точны и надежны, чем люди. Подконтрольный водителю машины автопилот будет действовать быстрее и ориентироваться лучше, чем обычный водитель. Автоматизация может повысить безопасность во многих сферах.

Выход робота из-под контроля человека может стать настоящей катастрофой, о чем рассказано во многих научно-фантастических романах. Однако многие из нас испытывают страх перед автономными системами. Но этот страх вызван не только чтением беллетристики.

Автоматизированным системам свойственна хрупкость, причем всем без исключения. Даже простые автоматические устройства часто демонстрируют сбои: перегруженные телефонные линии, несвоевременно звонящие будильники, зависший компьютер и тому подобное. Они, конечно, будут делать то, на что запрограммированы, но не в любой момент времени это является правильным.

Но если возникает ситуация, для которой они не были запрограммированы, или если их тестировали недостаточно полно, или операторы недостаточно опытны, или вдруг изменилась окружающая среда, сбой действительно возможен. Действительно, если системы правильно запрограммированы и надежно протестированы, они работают быстрее и точнее людей.

Проблема может возникнуть, если оператор не ожидает моментов хрупкости системы.

В одном случае он неправильно классифицировал самолет как ракету, в другом за ракету были приняты электромагнитные помехи. Так и случилось, когда Patriot открыл «дружественный огонь» по своим. Они фактически уступили решение машине. Операторы слишком доверились своим системам и не приняли в расчет хрупкость, что и привело к трагедии.

Но может ли он быстро прервать полуавтономную систему, пока она не успела натворить бед? В работе с системой человек может находиться внутри цикла — когда он полностью управляет ею, поверх цикла — когда следит за ее работой и в любой момент готов ее прервать или скорректировать (полуавтономная система), и вне цикла, когда она полностью автономна.

А оператор может и отвернуться на секунду, последствия чего можно видеть в аварии автомобиля с автопилотом Tesla S в 2016 году. Когда человек сидит в автономном автомобиле, он может сам схватиться за руль, если видит угрозу, но это лишь иллюзия контроля.

Если хрупкость проявляет полностью автономная система, в которой человек находится вне цикла, то, по крайней мере, на какое-то время может возникнуть самая опасная ситуация.

Она может оказаться неисправной, оператор может совершить ошибку, ее программное обеспечение могут взломать. Автономная система может понять и выполнять задачу на свой манер, а не так, как от нее хочет человек. Лучше всего такую работу, по мнению автора, иллюстрирует диснеевский мультик «Ученик чародея», в котором Микки Маус, берущий у чародея уроки колдовства, решил попрактиковаться в его отсутствие.

Проснулся он в затопленном доме, а метла продолжала таскать и таскать воду. Заколдовав метлу, он дал ей задание натаскать воду из колодца в бочку, стоящую дома, а сам лег спать, полностью автоматизировав процесс. И только приход чародея спас дом от полного затопления. Попытки ее остановить были безуспешными, Микки разрубил метлу топором, но обломки превратились в крошечные метлы и продолжали свою работу.

Если бы процесс стал полуавтоматическим, то есть метла перед очередным походом к колодцу спрашивала бы Микки, нужно ли еще воды, это сделало бы процесс намного безопаснее. В случае с Микки система получила неправильные указания, потому что ей не сказали, когда нужно остановиться. Но полностью автономную метлу в случае неправильной инструкции невозможно остановить.

Нужно понимать ее возможности и ограничения. Поэтому, считает автор, не стоит безоговорочно доверять автономной системе. Неудачи маловероятны, но с течением долгого времени эта вероятность повышается. Тестирование даже на миллионах сценариев все равно не дает полной гарантии от возможного сбоя. Вероятность аварий можно снизить, но стопроцентной гарантии от сбоев это не дает.

Идея № 6. Если военные готовы использовать автономное оружие, они должны быть готовы принять все риски с этим связанные

Задумано, что пулемет или автомат производят выстрелы до тех пор, пока палец давит на спусковой крючок. Даже обычное автоматическое оружие, такое как пистолет или пулемет, может сломаться. Как только давление прекращается, маленькая деталь — шептало — останавливает движение рабочего стержня, чтобы прекратить стрельбу.

Критический момент наступает, когда оно настолько истирается, что уже не может остановить рабочий стержень. Чем больше эксплуатируется оружие, тем сильнее изнашивается шептало. Остановить стрельбу можно, только заклинив подачу патронов, направив при этом ствол в безопасном направлении. И тогда автомат или пулемет продолжают стрелять, даже если никто не давит на спусковой крючок, пока не израсходуются все патроны.

Пулемет заклинило, и оружие начало беспорядочную пальбу, к счастью, никого не убив. Сам автор сталкивался с этим в Афганистане, когда пулеметчик попытался разобрать свое оружие, не вынув боеприпасы. Хотя управление было дистанционным, сбой случился не в программе, а в механике орудия. Другой эпизод был более драматичным: в ЮАР заклинило дистанционную зенитную пушку, и она отрыла беспорядочный огонь, убив 9 человек.

В этом случае уничтожение будет целенаправленным, считает Шарр, а последствия — катастрофическими. Если потеря контроля даже над простым оружием настолько опасна, то чем грозит разбушевавшееся автономное оружие? Ведь машина не понимает, что совершает ошибку, стреляя по своим или по дружественным силам.

Но военные должны понимать, что запускают смертоносную систему, которую после запуска остановить или перенаправить уже невозможно. Полностью автономное оружие, с одной стороны, было бы очень эффективным на поле боя, оно изменило бы прежние представления о войне. Они отправят это оружие в неподконтрольную среду, где оно может попасть в руки врагов, которые после взлома используют его в собственных целях.

Скорее всего, код полной автоматизации будет воспроизведен и в воздушных, и в морских силах, что при определенных условиях многократно увеличит ущерб. Опасения автора вызывает и то, что автономия вряд ли будет использоваться в какой-то единственном виде оружия. Ошибку одной «взбесившейся» машины повторят другие звенья системы.

Любое оружие нуждается в проверке в бою, и только так можно выявить все его слабости и уязвимые места. Тем не менее, автор считает, что военные могут пойти на риск развертывания полностью автоматического оружия. Однако и опасности сбоев могут быть катастрофическими.

Идея № 7. Для сдерживания автономного оружия нужны определенные условия

В нем не должно быть места формулировкам вроде «не использовать в общей разведке», потому что это слишком расплывчато и туманно. Первым условием автор считает создание четкого координационного центра, который будет решать, какие именно действия нельзя совершать при помощи автономного оружия.

Но где граница между наступательным и оборонительным оружием? Ученые, занимающиеся разработкой ИИ, составили открытое письмо к военным, призывая запретить наступательное автономное вооружение, не поддающееся осмысленному контролю человека. Автор считает, что если бы она существовала, все страны давным-давно запретили бы наступательное оружие.

А если автономное оружие попадет в плохие руки, в чем будет смысл такого контроля? Что такое осмысленный человеческий контроль? Вместо этого стоило бы выработать основные концепции запрета, к примеру, лазеров, ослепляющих противника навсегда.

Чтобы запрет был успешным, ужасные последствия применения такого оружия должны перевешивать его боевую пользу.

В любом случае последствия применения должны быть действительно страшными, а польза — небольшой, чтобы все государства могли пойти на подобный запрет. Оружие может рассматриваться как дестабилизирующее, опасное для мирного населения или причиняющее излишние страдания.

Одни страны должны быть уверены, что другие тайком не занимаются разработками тех видов автономного оружия, которые запрещены. Еще одним условием должна быть полная прозрачность. Можно договориться о периодических проверках таких разработок, но поскольку речь идет в первую очередь о коде, проверить это очень сложно.

По крайней мере, их легче отследить, чем код. Можно ориентироваться на отдельные физические характеристики автономного оружия, такие как мощность, дальность, размер и тому подобные. Что касается кода, то страны могли бы подписать конвенцию, которая запрещала бы использование некоторых видов ИИ, таких как неподконтрольное машинное обучение прямо на поле боя.

Есть разные способы ограничения ИИ в боевых действиях.

Но будут ли все страны придерживаться этого запрета, пока непонятно. Во-первых, можно полностью запретить автономное оружие. И как быть с оружием, которое лишь частично контролируется человеком? Кроме того, непонятно, как быть с теми видами автономного оружия, которые уже используются.

Если такое оружие не мобильное, а фиксированное, это менее опасно и может использоваться в первую очередь в защитных, а не наступательных целях. Наиболее опасно, по мнению автора, использование полностью автономного оружия на мобильных робототехнических средствах. Кроме того, люди должны иметь возможность контроля, хотя бы для того, чтобы отключить неисправную систему автономного оружия.

Шарр считает, что полный запрет автономного оружия будет действовать до первого серьезного военного конфликта, а потому многие страны продолжат работу над ним даже в случае принятия конвенции о его запрещении.

Польза его невысока, а последствия ужасны, так что многие страны вполне могут на это пойти. Вторым вариантом запрета автономного оружия могла бы стать конвенция о противопехотном автономном оружии. Они не оставляют человеку ни малейшего шанса избежать смерти. Одно дело, когда автономные системы типа «Гарпии» разрушают объекты, и совсем другое, когда они направлены против людей. И само использование машин против людей наводит ужас. Кроме того, им могут злоупотребить, направив на гражданских лиц.

Военные готовы использовать какие-то виды противопехотного оружия, например, в борьбе с терроризмом, чтобы поразить лидера террористов, но в этом случае оружие полуавтономно, потому что человек сам выбирает цель.

Невозможно отследить, пишется ли код для автономных машин или нет, но если производство такого оружия примет промышленные масштабы, то скрыть это будет невозможно. В этом случае прозрачность тоже может стать проблемой.

На основании полученной информации он должен в первую очередь достоверно установить, что на его страну напали. Наконец, нужно определить границы участия человека в управлении автономным оружием. И лишь тогда использовать автономное оружие в ограниченном режиме. Затем он должен принять решение об отражении атаки.

Заключительные комментарии

Книга написана экспертом в вооружении и содержит множество технических подробностей, тем не менее это не делает ее слишком сложной для восприятия обывателем.

Его будут определять технологии, но технологии созданы людьми, и только людям решать, как ими распорядиться. Интерес к оружию и понимание его возможностей не отвлекают автора от вопросов морального порядка, связанных с нашим ближайшим будущим. С помощью искусственного интеллекта мы можем построить более безопасный и спокойный мир, использование его в войне поможет избежать жертв среди мирного населения, целиком сосредоточившись на противнике и его боевых роботах.

И нет никакой уверенности в том, что боевые машины, управляемые только ИИ, будут выполнять все свои задачи правильно. Но человек, восхищенный силой боевых машин, их скоростью и точностью, может предоставить им слишком много свободы, сбросив с себя бремя контроля.

Но, по мнению автора, до сих пор это никому не удавалось. Казалось бы, идеальный вариант — вовсе бросить разработки подобных вооружений, использовать ИИ исключительно в мирных целях, а международные конфликты решать с помощью переговоров. Однако все страны должны найти в себе силы отказаться от такого оружия, которое слишком опасно и бесчеловечно. Оружие как средство самозащиты должно по крайней мере соответствовать тому, что находится на вооружении других стран.

Мы экономим ваше время на чтении книг, дарим вам знания и новые идеи для саморазвития. Makeright.ru – сервис ключевых идей из бизнес-литературы.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать

Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть