Înarmarea în noua eră digitală

Paul Scharre, Armata nimănui. Armele autonome și viitorul războiului, Editura Corint, 2024, 606 pagini

Una dintre consecințele progresului tehnic este aceea că Pământul a devenit prea mic pentru aspirațiile politico-militare ale unor țări. Deși Tratatul NATO prevedea în 1967 interzicerea militarizării spațiului cosmic, acest fenomen nu a putut fi oprit, fiecare dintre marile puteri trimițând în spațiu roboți printre ale căror misiuni s-au numărat și cele de natură militară. În 2019, SUA au înființat Comandamentul Forțelor Spațiale, spațiul cosmic fiind desemnat un câmp de luptă.

Această extindere a câmpului strategic a fost posibilă ca urmare a dezvoltării inteligenței artificiale (IA), față de care încă sunt o mulțime de incertitudini. În 2023, cei mai importanți jucători în acest domeniu au semnat Declarația de la Bletcheley pentru dezvoltarea acestui domeniu.

O nebuloasă în acest început de eră este în jurul armelor autonome, adică ale celor ce îndeplinesc misiuni militare fără a mai fi controlate de către om. Aceasta este tema cărții lui Paul Scharre, un fost combatant în războiul din Afganistan și Director al Programului „Tehnologia și Securitatea Națională” al Center for a New American Security, apărută în 2018, a cărei traducere ne-a fost oferită de Editura Corint la finalul anului 2024.

Autorul își începe masivul volum cu două exemple ce dovedesc efectele factorului uman în război: salvarea omenirii de către colonelul sovietic Stanislav Petrov, ce a intuit faptul că sistemul de apărare alertase incorect cu privire la un atac nuclear al SUA asupra URSS, și cazul în care o fetiță din Afganistan a spionat în favoarea talibanilor. „Tehnologia ne-a adus într-un punct crucial în relația omenirii cu războiul. În războaiele viitoare, mașinăriile pot lua decizii de viață și de moarte în timpul luptei pe cont propriu. […] Acești roboți sunt din ce în ce mai autonomi iar mulți dintre ei sunt înarmați. Pentru moment, ei operează sub control uman, dar ce se întâmplă atunci când o dronă Predator se bucură de tot atâta autonomie ca o mașină Google? Câtă autoritate trebuie să le conferim mașinăriilor când vine vorba de decizia fundamentală – viață sau moarte?” (p. 24)

Tema fiind astfel anunțată, autorul ne prezintă și care vor fi locurile prin care ne va purta: „Această carte vă va călăuzi într-o călătorie prin lumea în rapidă dezvoltare a armelor robotice de ultimă generație. Vă voi duce în interiorul companiilor din industria de apărare care construiesc rachete inteligente și prin laboratoare de cercetare care au activități ultramoderne în domeniul swarmingului. Vă voi face cunoștință cu funcționarii guvernamentali care stabilesc reglementările în domeniu și cu activiști care se luptă să obțină interzicerea a ceea ce ei consideră a fi foarte periculos. […] Această carte va explora modul în care ar putea arăta un viitor populat de arme autonome” (p. 28).

Cursa înarmării cu roboți este un fenomen similar cu ceea ce s-a întâmplat la începutul secoluluil XX-lea, când industria a fost pusă în slujba războiului. Apoi, cu toții vor urmări să vadă ce fac adversarii: dacă Terminatorii lor decid mai repede, chiar dacă eronat, fiecare va recurge la Terminatori. Apare, astfel, „Enigma Terminator”: „Folosite corect, mașinăriile inteligente ar putea salva vieți, făcând războiul mai precis și mai uman. Folosite greșit, armele autonome ar putea duce la și mai multe pierderi de vieți omenești și la mai multe victime în rândul civililor” (p. 30).

Prima parte a volumului, intitulată „Robocalipsa acum”, reunește capitole ce arată traseul de la aparatele ghidate uman de la sol la cele autonome. Testele realizate dovedesc faptul că lipsa autonomiei fac ca aceste aparate să nu fie eficiente în acțiunile lor și să necesite, totodată, și angajarea unui personal numeros care să le dirijeze. Departamentul Apărării al SUA a stabilit în 2011 o foaie de parcurs care presupunea trecerea de la operarea la delegarea apoi la supravegherea umană până la autonomia deplină a acestor aparate. Fiind implicat la nivelul de decizie din Departamentul Apărării al SUA, Scharre arată că în viitorul apropiat deciziile legate de utilizarea forței letale vor rămâne în sarcina elementului uman în sistemele fără echipaj la bord. Însă întrebarea care rămâne este ce se va întâmpla în viitorul mai îndepărtat.

Cele trei legi ale roboticii formulate de Isaac Asimov ar putea constitui un punct de plecare în construirea autonomiei roboților. Trebuie înțeles faptul că autonomia roboților nu presupune liberul arbitru sau sufletul, ci doar îndeplinirea unei sarcini sau a unei funcții. Foile de parcurs ale Departamentului Apărării presupun trei niveluri ale autonomiei: tipul de sarcină ce trebuie executată de mașină, relația om-mașină pe parcursul executării sarcinii și sofisticarea procesului decizional al mașinii în timp ce realizează sarcina (p. 57). Dacă în cazul roboților casnici eroarea robotului nu produce catastrofe, în cazul celor militari lucrurile stau cu totul altfel. Iar în acest domeniu este o cale destul de lungă de la automatizare la autonomie, pe care autorul o descrie cu exemple din istoria armamentului. Deși există o tendință de autonomizare, militarii evită să utilizeze asemenea arme pentru că ele nu asigură precizia într-un câmp de luptă ce-și poate schimba configurația rapid. De aceea, se preferă armele „conectate la rețea”, ce au posibilitatea vizualizării datelor despre țintă și transmiterea corecțiilor necesare.

A doua parte, „Construirea Terminatorului”, este dedicată celei de „A treia Strategii de Compensare” pe care SUA a lansat-o în în 2014 – după prima, în anii ’50 (când a investit în arme nucleare) și a doua, în anii ’70, când a investit în arme cu ghidaj de precizie pentru a contracara avantajul numeric în Europa al URSS. A treia Strategie constă în aplicarea roboticii pentru sporirea autonomiei armelor. În armata americană există o rezistență în ceea ce privește utilizarea armelor autonome. La fel se poziționează și cercetătorii ce lucrează doar la nivelul cercetării de bază în a se orienta spre acest tip de arme. Pasul este făcut în realizarea dronelor ce se deplasează în spații strâmte cu obstacole, rămânând deschisă calea spre arme de distrugere în masă, cu mii de drone minuscule care să atace indivizi în proporție de masă. Problema este aceea a erorilor ce pot apărea.

În prezent, se pun la punct sisteme de învățare ce ar urma să fie montate pe arme, ce ar permite decizia acestora cu privire la atacarea unor ținte. Dar cine va lua această decizie, cine va decide trecerea la arme autonome? În prezent, Departmentul de Apărare are o directivă referitoare la „Autonomia în sistemele de arme”, ce stabilește că pot fi fabricate doar următoarele categorii de arme autonome: semiautonome (muniția cu autoghidaj, cea „rătăcitoare”), autonome defensive supravegheate și autonome neletale și non-kinetice (sistemele de bruiere a radarelor). Fabricarea armelor autonome letale are nevoie de aprobarea Departamentului de Apărare. Va aproba acesta așa ceva? Oficialii americani consideră că se va întâmpla acest lucru doar „în situațiile care se petrec mai rapid decât timpul de reacție umană, precum războiul cibernetic sau electronic” (p. 145). În rest, mereu va rămâne un om în bucla de la perceperea țintei la atac.

Pericolul ar apărea atunci când roboții și-ar scrie propriile coduri. Însă nimeni nu poate controla decizia unor țări de a da autonomie totală armelor, moment din care politica prudenței în acest domeniu se va prăbuși. Politica dezvoltării roboticii în domeniul armamentului nu este doar a SUA. De exemplu, aproape 100 de țări dețin drone, iar roboții înarmați sunt din ce în ce mai prezenți. Dintre acestea, Marea Britanie respinge dezvoltarea armelor autonome, înțelegând prin acestea cele care ajung să delibereze la fel ca omul. Din discuție sunt scoase astfel armele care pot căuta, selecta și ataca ținte într-o zonă de ucidere în care au fost trimise de către om, caz în care este vorba de arme automatizate.

Rusia a dezvoltat vehicule de luptă antitanc coordonate de militari din afară. Acestea pot intra în luptă și urmări ținte până la distrugere. Dar, rămân doar automatizate, nu autonome. Ea intenționaează robotizarea tancului T-14 Armata, pentru a nu mai fi nevoie de echipaj. Spre deosebire de occidentali, rușii nu manifestă prudență în dezvoltarea armatei total robotizate, adică autonome. „Acesta este pericolul unei curse a înarmărilor în domeniul autonomiei: faptul că națiunile se simt obligate să pornească în cursă și să construiască arme autonome de teamă că alții fac acest lucru, fără a se gândi la riscurile implicate de acțiunile lor” (p. 175).

Importante devin dronele ce se deplasează pe bază de flux optic sau de ghidaj vizual, care nu au nevoie de GPS și care sunt foarte ieftine și la îndemâna tuturor. Însă ele nu au trei capacități necesare: de căutare, de identificare și de atacare. Acest lucru poate fi făcut posibil de utilizarea rețelelor neuronale de învățare profundă. Așa s-a întâmplat cu sistemul AlphaGo creat de DeepMind, care l-a învins pe jucătorul de Go Lee Sedol: s-au introdus cantități masive de date într-o rețea neuronală și au lăsat-o să învețe singură. Astfel de rețele neuronale se găsesc la liber pe internet, fiind lesne să contruiești o armă care să țintească oameni. „Intrăm într-o lume în care tehnologia construirii de arme automate letale este disponibilă nu doar statelor-națiuni, ci și indivizilor. Acea lume nu se află în viitorul îndepărtat. Ea se află deja aici” (p. 198).

Partea a III-a a volumului se intitulează „Arma scăpată de sub control” și reunește capitole în care autorul expune o întreagă cazuistică ce are ca subiect scăparea de sub control a armelor automatizate în diverse teatre de operații, cee ce a dus la atacuri fratricide. De exemplu, în conflitul din Irak, 25 % din operațiunile sistemului antiaerian Patriot au fost fratricide. Cei ce au cercetat aceste incidente au constatat că „operatorii patriot – deși nominal dețineau controlul – manifestau părtinire față de automatizare. […] Chiar dacă exista un om «în buclă», operatorii umani aveau o nejustificat de multă încredere în mașinărie atunci când ar fi trebuit să fie mai precauți” (p. 211).

În opinia autorului, avem două intuiții atunci când vine vorba de sisteme autonome, provenite din science fiction și din utilizarea curentă a tehnicii: prima este aceea că „sistemele autonome sunt sigure și că aduc cu ele o precizie mai mare”; a doua este „a roboților care o iau razna, sisteme autonome care scapă de sub controlul uman, cu rezultate dezastruoase”, intuiție ce provine nu doar din producțiile SF, ci și „din experiențele noastre cotidiene cu dispozitive automatizate simple. […] Sistemele autonome vor face exact ceea ce sunt programate să facă și această calitate este cea care le face atât failibile, cât și supărătoare, asta dacă au fost programate sau nu să facă lucrul potrivit la momentul potrivit. […] Spre deosebire de oameni, sistemele automate sunt lipsite de capacittea de a face abstracție de instrucțiunile lor și de a folosi «bunul simț» pentru a se adapta la situația respectivă” (pp. 2011-2012).

În sistemele complexe, ca urmare a incomprehensibilității lor, accidentele sunt „normale”. Acest fapt se întâmplă și-n cazul armelor automatizate. Introducerea automatizării este o sabie cu două tăișuri, pentru că sporește complexitatea sistemelor și diminuează posibilitatea detectării erorilor programelor la testare. De aceea, un sistem precum Aegis menține omul în buclă pentru ca acesta să aibă posibilitatea să oprească un atac.

O problemă a sistemelor neuronale de învățare profundă este faptul că nimeni nu poate explica de ce sistemul a ajuns la acea soluție, fapt ce arată că nu se pot identifica nici cauzele erorilor. Dacă aceste sisteme ar fi introduse în domeniul militar, un adversar le-ar putea păcăli și le-ar face să atace alte ținte decât cele inamice. S-ar ajunge la arme scăpate de sub control. Pentru a înțelege ce s-ar putea întâmpla, este necesar să privim spre singura industrie care utilizează sisteme complexe automatizate: tranzacțiile bursiere.

În partea a IV-a, intitulată „Războiul fulger”, autorul dezvoltă subiectul pe care l-a anunțat la finalul părții precedente, al tranzacțiilor bursiere, acolo unde viteza acestor operații impune ca deciziile să fie luate de roboți, care sunt mult mai rapizi decât oamenii. Dar, apare cazul firmei Knight Capital Group, care în 2012 a lăsat tranzacțiile pe seama algoritmilor fără posibilitatea omului de a opri procesul tranzacției, fapt ce a dus-o spre faliment. La fel s-a întâmplat cu Flash Crash-ul din 2010. De aceea, s-au introdus „întrerupătoarele de circuit, care opresc tranzacțiile dacă prețul scade cu peste 20 %.

În mod similar, fiind vorba tot de „interacțiuni adverse în medii complexe și necontrolate”, s-ar putea petrece lucrurile în domeniul militar, adică o prăbușire fulger sau un război fulger. La fel ca-n tranzacții, sunt necesare „întrerupătoarele de circuit”. Deși în domeniul militar nu se vorbește de viteze în milisecunde, existând timp pentru adaptare și răspuns, este necesară înțelegerea fenomenului prin această analogie pentru că de milisecunde se poate vorbi în războiul electronic și din spațiul cibernetic.

Și în domeniul cibernetic se utilizează un fel de armă autonomă, așa cum este Stuxnet, un vierme ce infectează computerele neconectate la internet (doar prin stikuri de memorie). Odată ajuns în computer, acest virus atacă întregul sistem generând pagube. În cibernetică se lucrează pe sistemul atacator-apărător, iar autonomia unei arme devine periculoasă nu doar sub forma armei scăpate de sub control, ci și în cea a haking-ului, când arma ar intra pe mâna inamicului. Urmează apoi, haking beack-ul, când arma autonomă decide contraofensiva. În fine, urmează armele ofensive, cele ce decid atacuri asupra anumitor indivizi, prin trimiterea unor linkuri răuvoitoare. Problema uriașă este viteza cu care acestea operează, fapt ce poate duce la escaladarea unui conflict înainte ca omul să poată interveni ca întrerupător de rețea.

„Chiar și cea mai sofisticată inteligență a mașinăriei din ziua de azi este foarte departe de IA dotate cu conștiință descrise în literatura SF. Armele autonome implică riscuri tocmai din cauza faptului că IA limitate din prezent eșuează lamentabil în cazul sarcinilor care solicită inteligența generală. […] Rețelele neuronale de recunoșatere a imaginii pot identifica obiecte, dar nu pot asambla obiecte într-o poveste coerentă despre ce se întâmplă într-o scenă. Fără capacitatea umană de a înțelege contextul, o IA de tranzacționare bursieră nu înțelege că-și poate distruge propria companie. Unii cercetători în domeniul IA reflectează la un viitor în care aceste contrângeri nu mai există” (p. 329).

Însă pot fi creațiile IA sigure? Nu sunt cumva monștri treziți? Se pot ele asemăna cu oamenii? În lipsa unor precauții, IA ar putea dezvolta nevoi de dobândire de resurse, de autoreplicare și de autoprotecție. Din acesl moment, apare marele pericol, fiindcă obiectivele ei pot veni împotriva omului. Pot fi ele dezactivate înainte de a ajunge la rezultate nedorite doar pentru că-și urmăresc strict obiectivele?

În Partea a V-a, intitulată „Lupta pentru interzicerea armelor autonome”, autorul discută despre legile sub care ar trebui să funcționeze roboții militari. Militarii operează după principiile Dreptului internațional umanitar (DIU), cu cele 3 principii: al distingerii (între militari și civili), al proporționalității (victimele civile nu pot fi disproporționate în raport cu necesitatea atacării unei ținte) și evitării suferinței inutile. Lor li se adaugă precauțiile în atac, protejarea militarilor aflați în afara conflictului (cei răniți și prizonierii). Armele autonome nu pot respecta aceste principii. Față de această problemă, există două direcții: consecințialistă (ce privește fenomenul prin prisma finalității) și deontologică (ce privește prin prisma corectitudinii). În ambele direcții, unii cer interzicerea armelor autonome iar alții le apără, aceștia din urmă invocând faptul că se blochează nivelul tehnologic de acum, care oricum va fi depășit, și faptul că DIU se referă doar la oameni, că armele nu cad sub incidența acestuia.

Apare o altă întrebare: dacă ar fi legale, armele autonome ar fi morale? Unii susțin că armele autonome trebuie interzise pentru că le lipsește sentimentul de responsabilitate. Ar putea fi create arme autonome mai morale decât oamenii, adică să nu comită în război atrocitățile pe care le comit oamenii? Doar atunci ar fi de dorit așa ceva. Deontologii consideră că armele autonome sunt inumane indiferent dacă au și consecințe benefice. Din perspectiva consecințialiștilor, ele sunt bune pentru că iau culpa uciderii de pe militari.

Întrebarea este ce oameni mai suntem dacă nimeni nu mai poartă vreo culpă pentru ucideri. Iată ce spunea Gen. Paul Selva, Vicepreședintele Statului Major Interarme: „Pentru că ne ducem cu noi valorile atunci când mergem la război și pentru că multe dintre lucrurile pe care trebuie să le facem în război sunt guvernate de legile războiului, […] nu cred că este rezonabil pentru noi să însărcinăm roboții cu luarea deciziei de a curma sau nu viața umană. […] Ar trebui ca toți să fim susținători ai menținerii regulilor morale ale războiului, ca să nu dezlănțuim asupra omenirii o serie de roboți pe care nu știm să-i controlăm” (p. 415).

Armele autonome îi pot depăși pe oameni în viteză, dare nu pot realiza operațiuni de tip „teoria minții”, așa cum este ghicirea intenției adversarului. „Oamenii nu sunt perfecți, dar pot empatiza cu adversarii lor și pot avea imaginea de ansamblu. Spre deosebire de oameni, armele autonome n-ar avea capacitatea de a înțelege consecințele acțiunilor lor și nici capacitatea de a face un pas înapoi în pragul războiului” (p. 449).

În Partea a VI-a, „Evitarea unui Armaghedon: arma politicii”, pornind de la imposibilitatea armelor autonome de a înțelege contextul, autorul discută necesitatea unei reglementări stricte a producerii și utilizării lor. În deciziile de încadrare a țintelor, omul îndeplinește trei roluri: operator al sistemului de arme, sistem de protecție și agent moral. De aceea, cel mai indicat rămâne „modelul centaur”, om-mașinărie. Însă, și acest model este expus riscului de a dispărea ca urmare a vitezei mașinii, care nu-i va mai permite omului să vină cu contribuția sa. Însă, este necesar ca omul să rămână măcar deasupra buclei, în modelul autonomiei supravegheate.

Poate fi interzisă proliferarea armelor autonome? „Dacă o interdicție reușeșete sau nu, pare să depindă de trei factori-cheie: oribilitatea percepută a armei, utilitatea sa militară și numărul de actori care trebuie să coopereze pentru ca interdicția să funcționeze” (p. 469). Iar pentru ca o interdicție să funcționeze ea trebuie să fie simplă și totală, fără rezerve, și nu una graduală ce duce la intepretări și acțiuni greu de încadrat. Mai departe, nu toate interdicțiile au mecanisme de supraveghere și verificare, ceea ce duce la încălcarea lor. Obstacolul cel mai mare împotriva interzicerii rămâne utilitatea militară.

În opinia autorului statele ar putea aborda problema limitării anumitor tipuri de inteligență automată după următoarele patru modele: interzicerea armelor complet autonome (fără șanse de reușită); interzicerea armelor autonome antipersonal; stabilirea de reguli de circulație” pentru armele autonome; crearea unui principiu general privind rolul judecății umane în război.

În concluzie, lumea care se construiește va fi una în care vom avea arme autonome, pentru că acest lucru este imposibil de interzis. Oricând se va găsi cineva care va încălca regula și se va declanșa cursa înarmărilor sau chiar escaladarea. Dar, conchide autorul, „mașinile pot face multe lucruri, dar nu por crea semnificație. Ele nu pot răspunde la întrebări în locul nostru. Mașinăriile nu ne pot spune ce anume prețuim, ce alegeri ar trebui să facem. Lumea pe care o creăm este una în care vor exista mașinării inteligente, dar nu este pentru ele, ci este o lume pentru noi” (p. 504).

Progresul IA este o realitate pe care nimeni nu o poate pune la îndoială și nici nu o poate opri din evoluție. Rămâne în sarcina responsabililor politici și a cercetătorilor din domeniu faptul de a decide cadrele legale în care urmează a trăi omenirea în noua eră digitală pentru ca IA să nu o împingă spre catastrofă.

Sorin BOCANCEA