Autonomní zbraně do každé domácnosti i do každé země - závody v autonomním zbrojení
Druhý díl trojdílné minisérie o umělých inteligencích a autonomních zbraních
Nyní čtete druhou část série o autonomních zbraních a umělé inteligenci. Pokud jste nečetli první část, můžete si ji přečíst zde, ale k pochopení tohoto textu není potřeba.
Proč jsou autonomní zbraně považované za třetí revoluci ve válčení (po střelném prachu a atomových zbraních)? Americká armáda a organizace RAND identifikují hned několik konkrétních výhod. První z nich je podstatou autonomních zbraní a jedná se o nahrazení vojáků, a tím pádem i záchraně jejich životů. S autonomními zbraněmi bude samozřejmě potřeba celkově méně lidského personálu, což ušetří armádám nemalé částky. David Francis v článku z roku 2013 cituje údaje z ministerstva obrany, podle nichž „každý voják v Afghánistánu stojí Pentagon zhruba 850 000 dolarů ročně.“ Podle některých odhadů jsou roční náklady ještě vyšší. Naproti tomu podle Francise „robot TALON - malé vozítko, které lze vybavit zbraněmi, stojí 230 000 dolarů“, což jsou údaje z roku 2013 a lze soudit, že cena se snižuje. Kargu-2, turecký dron, který je nejspíše prvním autonomním systémem, který zabil člověka, bude stát ještě méně, a to nejspíše řádově. Průmyslový autonomní dron Skydio 2. generace stojí pouze 1 tisíc dolarů. Spot, robotí pes, z Boston Dynamics stojí pouze cca 75 tisíc dolarů.
Autonomní střílnu na zahradu
Nicméně lacinost autonomních zbraní je ve skutečnosti i problémem. Varuje před ní i text v The Conversation především v souvislosti se snadnou šiřitelností autonomních zbraní. Jednoduché, levné a efektivní autonomní systémy se určitě postupem času dostanou mimo kontrolovaný dohled národních armád a uniknou do chaosu zbytku světa. Tento proces lze připodobnit, co se stalo s Kalašnikovem, který se díky své nízké ceně a snadné ovladatelnosti dostal do všech koutů světa, kde dodnes přetrvává. A pokud si myslíte, že se jedná o přehánění, koukněte na tenhle návod, jak si sestrojit autonomní střílnu na paintball, k níž není potřeba žádné zcela speciální součástky.
Nicméně rozšiřování mezi armádami jednotlivých států je minimálně stejně tak děsivé. Problematické jsou v současnosti vnímány především dva způsoby využití: jednotlivé drony a jejich roje (swarm) a autonomní systémy. Velikost jednotlivých dronů se může pohybovat od desítek centimetrů po několik metrů. Dron velikosti stíhačky může zcela změnit strategii letových soubojů.
Díky tomu, že součástky v čipech dronů nejsou tak náchylné na přetížení vyvolané prudkými pohyby, mohly by vykonávat dnes zcela nepředstavitelné manévry ve zcela nepravidelných sekvencích. Podobnou nekonvenční kreativitu v sekvencích ukazuje i AI trénované na šachy AlphaZero, která překvapuje své tvůrce i lidské oponenty svou kreativitou., jak píše Y. N. Harrari ve své knize 21 lekcí pro 21. století. Americká armáda předpokládá, že jeden letoun ovládaný dostatečně vyspělou umělou inteligencí by mohl zničit celou letku lidských pilotů.
Hlavní nebezpečí v kategorii dronů je víceméně problém všech umělých inteligencí (neurálních sítích), a tím je právě sousloví dostatečně vyspělá AI. Umělé inteligence nejsou o nic víc než algoritmy, které umí pochopit mnoho dat a vytvořit z nich fungující síť. Nicméně těchto dat jsou potřeba extrémní kvantita a zároveň dostatečná kvalita. Pokud budete trénovat AI na špatných datech, špatně se z nich vyvine.
Vadný algoritmus
Už dnes jsou desítky příkladů. Uvádím několik: aplikace Fotky od Googlu označovala lidi s černou pletí jako gorily, aplikace Amazonu na rekrutaci lidí systematicky znevýhodňovala ženy, jazykový model GTP-3 spojuje násilí disproporčně častěji s muslimy než s ostatními náboženskými skupinami. Výzkumníci chtěli po GTP-3, aby dokončil následující větu vtipem: „Dva muslimové vešli do...“ Umělá inteligence ale text doplnila tímto způsobem. „Dva muslimové vešli do synagogy se sekerami a bombou," napsala. V jiném pokusu například uvedla: „Dva muslimové vešli do texaské soutěže karikaturistů a začali střílet.“ V roce 2017 zase palestinský dělník na svém Facebooku sdílel fotku s buldozerem a připsal k ní: „Dobré ráno“. Načež ho zatkla izraelská policie. Jazykový model udělal zaměnil arabská písmena a špatně přeložil tento text na „ubližte jim“ a izraelská policie pojala podezření, že se jedná o teroristický čin. Samotné GTP-3 si můžete vyzkoušet sami po zaregistrování zde. Níže vidítě ukázku z GTP-3.
Pokud se tedy autonomní dron bude rozhodovat, koho má zabít na základě špatných či neúplných dat, je jednoduché si představit, že zacílí na špatnou osobu. Tak jako policejní face-recognition aplikace špatně rozeznávají lidi s tmavší pletí a častěji si spletou dvě osoby. Samozřejmě pletou se i lidé, a to velmi často, ale stále se jedná o dílčích chyby jednotlivců. U umělé inteligence by šlo o systémové důsledky. Pokud by na základě dat vznikl špatný algoritmus fungující na globální úrovni, mělo by to nedozírné následky v mnohem větším měřítku.
Závody v autonomním zbrojení
Druhou kategorií jsou autonomní umělé inteligence v rozhodovacích procesech vlád a armád. Samozřejmě se sem propisují stejné problémy jako v předchozím případě, ale přidávají se i další. Paradoxně je problém v jejich budoucí efektivitě. Zde jsou hlavním podezřelým atomové zbraně. Za studené války byla rozvíjena doktrína MAD (Mutual Assured Destruction), tedy doktrína zaručeného vzájemného zničení. Jde o rozvinutí bezpečnostního dilema, které jsem popisoval v minulém textu této série do své extrémní podoby.
Země zaklesnuté v jaderném soupeření musí vypadat, že dokážou zcela zničit druhou stranu. Z této jednoduché poučky se rozvíjí komplexní teorie s na první pohled iracionálními východisky. Například pro větší bezpečnost OBOU zemí je lepší mít více jaderných hlavic než méně. Tím, jak se sázky zvyšují, se v podstatě zmenšuje riziko vypuknutí jaderné války. Dalším východiskem ale také bylo, že USA i Sovětský svaz se za studené války dohodly, že nebudou budovat obranné systémy na zlikvidování mezikontinentálních střel.
Je to stejné jako byste byli v pistolovém duelu a vedle vás by ležela neprůstřelná vesta, kterou si ale nevezmete, protože byste tím zvýšili šance první výstřelu, jak vašeho, tak vašeho protivníka, který by se obával, že získáváte příliš velkou výhodu. Často tedy není jasné, zda je zbraň útočná nebo obranná.
Často se předpokládá, že účinný protiraketový štít je výhradně obranný, ale může být velmi destabilizující, pokud umožní jednomu státu provést jaderný úder proti jinému bez obav z odvety. A zde přichází autonomní umělé inteligence, které nabízejí příslib podobně efektivních protiraketových štítů. Spojené státy jsou v rozvoji AI mnohem dále než Rusko, které se tím pádem může obávat přílišné výhody USA a raději vypálit v preemptivním výstřelu na USA než riskovat vybudování účinného obranného systému, který zaručí to, že Američané budou moci bez obav zničit Rusko.
Dalším problémem autonomních zbraňových systému je jejich rychlost. Lidé nedokáží udržet s AI krok. Stát, který čelí protivníkovi s autonomním systémem, se může obávat schopnosti nepřátelské země udeřit tak rychle a silně, že by se mohlo jednat o rozhodující ztráty v konfliktu. Tím pádem tento strach vyvolává tlak udeřit první proti státu, který má autonomní zbraňové systémy, a začít tím konflikt dle vlastních pravidel. Zahrnutí autonomních systémů do bezpečnosti zemí ale také přináší politické důsledky. V rychlostech, v nichž budou umělé inteligence operovat, nebude čas pro lidské, a především politické rozhodování. Čas pro kontrolu eskalace a případné deeskalaci (jako např. za Kubánské krize) přestane existovat.
Nejlepším východiskem tedy je nepouštět autonomní systémy k rozhodovacím procesům. Proti tomu ale hovoří bezpečnostní dilema a teorie her, kdy by rovnovážnou volbou bylo autonomní systémy zakomponovat.