Czy autonomiczne bronie powiedzą „nie” nielegalnym rozkazom?

Baynazar Mohammad Nazar był nieprzytomny na stole operacyjnym, gdy sufit zaczął się na nim zapadać. Ojciec czworga dzieci zgłosił się do szpitala poprzedniego dnia po postrzeleniu w nogę i przeszedł drugą operację w ciągu dwóch dni, aby naprawić uraz. Kiedy Amerykanie zaczęli niszczyć budynek, pracujący nad nim lekarze nie mieli innego wyjścia, jak uciec na własną rękę tak szybko, jak tylko mogli.

Andrew Quilty w Polityka zagraniczna opowiada historię życia i śmierci Baynazara w artykule zawierającym fotografię jego ciała pokrytego gruzem na stole operacyjnym. Baynazar był jednym z 31 osób zabitych przez Stany Zjednoczone w wyniku ataku na szpital prowadzony przez lekarzy bez granic (zwany również MSF) w Kunduz, Afganistan, 2 października.

Po głośnych strajkach na wysokim szczeblu cywilnym i wypadkowym politycy i eksperci pytają, jak może się to wydarzyć i co można zrobić, aby to się nie powtórzyło. Wśród zwolenników autonomicznych systemów broni, czasami nazywanych „zabójczymi robotami”, jednym z popularnych argumentów jest to, że ludzki błąd (lub złośliwość) jest odpowiedzialny za duży stopień zbrodni popełnionych w czasie wojny. Teoretycznie jest możliwe, twierdzą, że roboty mogą być bardziej precyzyjne w celowaniu i mniej podatne na błędy niż ludzie.

„Faktycznie, ludzki osąd może okazać się mniej wiarygodny niż wskaźniki techniczne w ogniu bitwy” - pisze Michael N. Schmitt, profesor w US Naval War College. „Ci, którzy wierzą inaczej, nie doświadczyli mgły wojny”.

Amerykański nalot na szpital MSF w Afganistanie „spowodowany głównie przez ludzki błąd” http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegraph News (@TelegraphNews) 25 listopada 2015

Pytanie brzmi zatem: czy można zaprogramować narzędzia wojny, aby ograniczyć ludzkie zachowanie, aby uniemożliwić strajki, takie jak bombardowanie szpitala w Kunduz, a przynajmniej mniej prawdopodobne?

Prawdopodobnie nie - przynajmniej na najbliższą przyszłość. Jednak niektórzy programiści sztucznej inteligencji zaprojektowali robota, który może odmówić ludziom. Projekt eksperymentu jest prosty: człowiek mówi robotowi, aby zszedł ze stołu, którego robot początkowo odmawia. Gdy człowiek powie robotowi, że go złapie, robot przyjmuje zamówienie.

To bardzo daleko od pół-autonomicznego śmigłowca szturmowego, który mówi ludziom, że nie może przeprowadzić nalotu na szpital, ponieważ byłoby to zbrodnią wojenną, ale podstawowa przesłanka jest w dużej mierze taka sama. Jak zauważyli inni, ludzki niepokój związany z tym rodzajem rozwoju robotów jest powszechny w science fiction - pomyśl, że HAL-9000 mówi: „Nie mogę tego zrobić, Dave”, kiedy zamyka człowieka poza stacją kosmiczną w 2001: Odyseja kosmiczna.

Jeśli chodzi o specyfikę strajku w Kunduzie, wiele faktów dotyczących ataku pozostaje spornych. MSF zażądał niezależnego dochodzenia, któremu sprzeciwia się rząd Stanów Zjednoczonych, zamiast tego obiecując przeprowadzenie własnych przeglądów.

Niektóre części jednego z amerykańskich badań zostały upublicznione na początku tego miesiąca i wykryły błędy ludzkie i mechaniczne odpowiedzialne za strajk. Ale na początku tego tygodnia dwóch członków serwisu zgłosiło się, by zaprzeczyć ustaleniom raportu. Mówią, że strajk nie był błędem. W ich księgowości po raz pierwszy zgłosił AP, Siły specjalne USA wezwały do ​​strajku, ponieważ chociaż szpital był używany jako talibskie centrum dowodzenia i kontroli.

W oficjalnej wersji usterka mechaniczna doprowadziła załogę śmigłowca AC-130 początkowo do uzyskania współrzędnych dla pustego pola. Następnie załoga szukała budynku na obszarze, który pasował do opisu fizycznego, który otrzymał, i otworzyła ogień. Kiedy ich instrumenty zostały ponownie skalibrowane, dali załodze poprawne współrzędne celu, ale załoga i tak nadal strzelała do szpitala.

Jeśli ta relacja jest prawdziwa - że komputer był ostatecznie dokładny, a ludzie go zignorowali - daje pewne przekonanie zwolennikom większej autonomii w systemach uzbrojenia. Powiedział, że wojna z terroryzmem w Stanach Zjednoczonych jest zaśmiecona przykładami wojska lub CIA uderzającymi w „właściwy” cel i wciąż kończącymi się zabiciem ogromnej liczby cywilów. Automatyzacja nie rozwiąże złej inteligencji, a próby zaprogramowania zbliżenia moralności nie zakończą zbrodni wojennych.

W Stanach Zjednoczonych istnieje silna pokusa sterylizacji wojny i automatyzacji poprzez usunięcie Amerykanów z drogi krzywdy, która ma zmienić samą definicję wojny. Preferowane przez Obamę zabijanie dronów i towarzyszące im zapewnienia, że ​​drony są najbardziej precyzyjną bronią, jaką kiedykolwiek stworzono, są najwyraźniejszym przejawem tych celów. „Były precyzyjne, precyzyjne ataki na Al-Kaidę i ich oddziały” - powiedział Obama podczas spotkania Google w 2012 roku.

Jednak badanie rządu z 2013 r. Kontrastuje te twierdzenia. Okazało się, że drony w Afganistanie spowodowały 10 razy większą liczbę zgonów cywilnych niż pojazdy bezzałogowe. „Drony nie są magicznie lepsze w unikaniu cywilów niż myśliwce”, powiedziała Sarah Holewinski, współautorka badania Opiekun. „Gdy piloci latający odrzutowcami otrzymywali jasne wytyczne i szkolenia w zakresie ochrony cywilnej, byli w stanie obniżyć liczbę ofiar cywilnych”.

Wojsko wydaje miliony na rozwój systemów zespołowych człowiek-robot, dalej zacierając granice między misjami wykonywanymi przez broń załogową lub bezzałogową. „To, co chcemy zrobić w zespole walki człowiek-maszyna, to przenieść go na wyższy poziom, spojrzeć na takie rzeczy, jak rojenie”, powiedział sekretarz obrony obrony Bob Work na oficjalnym blogu naukowym DoD. „Czy F-35 może walczyć z czterema bezzałogowymi skrzydlatymi?”

Czy ci skrzydlacze powiedzą „nie”, jeśli pilot ludzki wyda im rozkaz analogiczny do zejścia ze stołu? A co z rozkazem zniszczenia szpitala lub szkoły? W obu przypadkach zastosuje się mgła wojny. A jeśli zdecydujemy się zastąpić maszyny, wyrażenie „błąd ludzki” będzie jednym z bardziej przerażających terminów w konfliktach przyszłości.