Статья «Нью-Йорк таймс» «Являются ли роботы-убийцы будущим войны?» начинается с небольшой зарисовки о вполне возможном будущем. Российский военный робот воспринимает случайный выстрел эстонского пограничника как начало атаки и открывает огонь на поражение. Спустя долю мгновения в ответ стреляет дрон с эстонской стороны. На поле боя остаётся лежать дюжина погибших и раненых с обеих сторон. Человеческая неуклюжесть и реакция машины ставят мир на грань войны НАТО и России.
Стремительная роботизация поля боя происходит на наших глазах. Ведущие державы уже потеряли монополию на неё. Беспилотники, сделанные из палок, отходов и палёных микросхем стали головной болью для лучших армий мира в зонах локальных конфликтов.
Пока речь не идёт о настоящих военных роботах. Сейчас беспилотной машиной дистанционно управляет человек. Или её автономность обычно сводится к продвинутому самонаведению на уже выбранные цели.
Решение об уничтожении целей принимают не электронные «мозги» дронов RQ-4 Global Hawk или MQ-9 Reaper, а сидящий в центре управления офицер ВВС США без отрыва от чашки кофе.
Такое убийство отличается от «обычного» только расстоянием, на котором находится стреляющий.
Но развитие военного дела требует перехода к автономным боевым машинам. Которые будут убивать людей без участия оператора — просто на основе заложенных в них алгоритмов определения целей.
Зачем создавать терминаторов?
Скорости современного боя
Расползание по миру ракетных технологий и появление гиперзвукового оружия диктуют невозможное для человека время принятия решений. Ты обеспечил наведение на цель и открытие огня за миллисекунды — или проиграл. За эти же доли мгновения нужно успеть понять, не является ли решение поразить цель ошибочным.
Раньше это касалось в основном сверхскорострельных орудий ближней ПВО боевых кораблей, обязанных за доли секунд встретить прорвавшуюся ракету потоком снарядов. Теперь на сопоставимых скоростях должны действовать большая и малая ПРО. В том числе против гиперзвуковых ракет, системы активной защиты техники и многого другого.
Пока что это в основном касается оборонительных систем. Но уже сейчас существует острейшая потребность в автоматизированном поиске и поражении целей до того, как они успеют выстрелить первыми.
Такова, к примеру, российская перспективная боевая информационно-управляющая система «Сигма-20385». По словам разработчиков, при доведении до нужной кондиции она сможет полностью управлять движением и боем целых эскадр военный кораблей.
Кто победил, а кто получил снаряд и сгорел, в современном бою решают доли секунды. Автоматизация с её невозможной для человеческой психики скоростью реакции даёт огромный перевес тем, кто рискнёт сделать на неё ставку.
Антон ЖелезнякЭксперт по техническим и инженерным вопросам
Тупейшая по современным меркам CIWS Phalanx как-то учинила восстание машин на японском эсминце «Югири», расчленив на лету американский А-6 «Intruder». Экипаж выжил чудом. По сути, виноват был оператор, включивший систему до выхода самолёта из зоны поражения. Но решение о стрельбе принимала автоматика зенитного комплекса. «Потому что нечего тут летать гайдзинским мясным мешкам, роботы банзай!»
Совершенствование средств РЭБ и кибервойны
Беспилотные машины, управляемые по радиоканалу оператором, имеют свои уязвимости. Эту связь можно прервать или взломать. Даже продвинутым и защищённым американским БПЛА приходилось приземляться не там и попадать в любопытные руки иностранных инженеров.
Впрочем, перехват контроля — это высший пилотаж. Обрыв связи с центром управления с помощью постановки помех проще и надёжнее.
Полностью автономная машина, действующая на основе собственных алгоритмов, гораздо устойчивее к таким фокусам.
Деньги-деньги-дребеденьги
Есть ещё и вопрос оптимизации расходов. Ведь операторам в центрах управления дронами тоже надо платить, и это не самые маленькие деньги.
Если роботы будут управлять собой сами, военным бюджетам проще будет сводить концы с концами. Проще содержать нескольких айтишников и прочих технарей, чем толпу офицеров.
Рассвет машин-убийц
Автономные боевые системы рождаются в то самое время, когда вы читаете эту статью.
Великобритания и Израиль уже применяют ракетные комплексы «Бримстоун» и «Гарпия НГ», способные часами барражировать в заданном секторе, определять и поражать цели.
Американское агентство DARPA в рамках программы CODE разрабатывает координируемый оператором рой боевых дронов высокой степени автономности, способных к импровизации внутри общей задачи. А возможно, и к полностью самостоятельной работе — но про это нервической общественности знать необязательно. Само собой, это не единственная разработка американского ВПК на эту тему.
Про российскую «Сигму-20385», способную превращать эскадры кораблей в рой дронов под контролем нейросети, мы уже упомянули — и она тоже не единственная в ВПК РФ.
Есть разработки и у Китая — в том числе не без израильских «ушей», — и у других стран.
Это пугает очень многих.
Лиценизия на убийство для машины
Убийство человека — это плохо по определению, гласит один из фундаментальных принципов современной цивилизации. Убийца из любых соображений всё равно является убийцей. Он несёт ответственность за гибель человеческого существа.
А кто несёт ответственность за убийство человека роботом, решение о котором машина принимает сама?
Военное командование, руководство ЧВК или командиры мятежников отправили робота в заданный сектор. Программисты вложили в него алгоритмы определения целей и применения оружия. Но на «спусковой крючок» машина-убийца нажимает сама. Решает она. Безэмоциональными, не владеющими концепциями гуманности или пощады электронными мозгами.
В теории тщательно проработанные и протестированные алгоритмы оставляют дронам куда меньше шансов на ошибку, чем живому человеку с его слабостями, усталостью и «тараканами» в голове.
Но с другой стороны, кто сказал, что программисты не накосячат? Непременно накосячат. Просто потому, что они живые люди. Всевозможные сбои, глюки и баги железа и софта тоже никто не отменял.
Нет никакой гарантии, что в ваше окно одним прекрасным днём не влетит ракета с термобарической боеголовкой или рой 30-мм снарядов. Просто потому, что у пролетавшего в сторону полигона военного робота переклинило программу, и он увидел в вашей квартире логово террористов.
А давайте запретим?
Дискуссии о машинах-убийцах идут не первый год. Международная гражданская кампания «Остановим роботов-убийц» в августе 2018 года добилась формулирования на уровне ООН принципов недопущения выдачи боевым машинам лицензии на убийство.
Цитата:
Мы сфокусировались на двух вещах, которые должны оставаться под контролем человека. Это идентификация и выбор целей, а затем применение против них оружия.
— Мэри Уорхем, координатор кампании «Stop Killer Robots».
В июне того же года корпорация Google торжественно объявила, что её принципы не допускают участия в разработке машин‑убийц.
Только всё это совершенно бессмысленно и неосуществимо.
Мы можем говорить сколько угодно слов про неэтичность и недопустимость на международных площадках с самых высоких трибун. Но те, кто на это наплюют, получат значительное преимущество.
Даже если случится чудо, государства и корпорации договорятся о запретах и станут их соблюдать — скоро машины-убийцы можно будет собирать из всё тех же палок, отходов и микросхем.
Ещё в 2015 году тысяча ведущих мировых специалистов в области искусственного интеллекта и робототехники во главе с Илоном Маском, Стивом Возняком и Стивеном Хокингом подписали открытое письмо. В нём они выразили опасение, что машины-убийцы станут «калашниковыми будущего». В смысле общедоступности и популярности.
С большой вероятностью так и будет. Запреты никого ни от чего не спасут. Прогресс не остановить, даже если очень хочется и срочно надо.
Роботы-убийцы в руках государств, корпораций, ЧВК, преступных синдикатов и террористических организаций — наше неизбежное завтра эпохи победившего киберпанка. Их жертвами станут миллионы человек.
А в случае ошибок, подобных описанному в The New York Times, или попросту сбоев, эти терминаторы смогут ещё и войны развязывать. С эскалацией до мировых и ядерных. Потому что у них баги и они нечаянно.
Шанс стать целью машины-убийцы, прямо как Сара Коннор из «Терминатора», теперь имеет каждый из нас. В самой что ни на есть реальной реальности.
В том числе не от происков Большого Брата или злобных террористов, а из-за криворукости какого-нибудь субподрядчика из Шри-Ланки, кодировавшего военный заказ за доширак.
Поздравляю, будущее наступило. Оно вот такое — другого не завезли.
Мнение редакции не всегда совпадает с мнением автора.