Con l’evolversi della tecnologia i droni stanno diventando sempre più autonomi per cui la prospettiva di un combattente robotico sta diventando una possibilità sempre più reale. Sistemi robotizzati aerei e terrestri sono stati utilizzati durante le recenti guerre in Afghanistan e Iraq e recentemente in Ucraina e nel conflitto Israele-Palestinese.
Sebbene la politica ufficiale affermi che questi droni mantengono un controllo umano, almeno per le decisioni più letali, temo che il concetto operativo di impiego di questi mezzi potrebbe cambiare non appena ne sarà dimostrata l’affidabilità in azioni totalmente autonome da un punto di vista decisionale. Prima di arrivare a questo punto, ci dovremmo domandare se l’impiego di questi droni debba essere limitato da regole legate ad implicazioni morali ed etiche che dovrebbero essere caratteristiche di un essere umano.
Va premesso che molte delle Convenzioni internazionali1 per l’uso degli armamenti sono state firmate prima della costruzione dell’ENIAC, il primo computer, e non considerano l’impiego di mezzi autonomi. Di fatto l’ambiente scientifico militare, da sempre attento a precorrere il tempo per mantenere la superiorità tecnologica, negli ultimi 60 anni si è evoluto oltre le aspettative senza che nessun politico abbia mai sollevato una limitazione morale sul potenziale rischio di impiegare sistemi robotici in operazioni militari. Questo nonostante un loro potenziale pericolo fosse stato sollevato da libri e film di successo.
Qual è il rischio reale?
La questione mi ricorda una strenua levata di scudi ad un convegno NATO in cui un rappresentante di un paese, dopo aver ascoltato il programma di sviluppo di futuri droni aerei da combattimento totalmente autonomi, sollevò al tavolo la necessità di applicare nei software di programmazione la prima legge della Robotica2. La discussione fu solo accademica e non ebbe conclusioni. Le Leggi di Asimov, nate agli inizi degli anni quaranta, furono in realtà esaminate in previsione dello sviluppo (ora prossimo) di robot autonomi per un uso bellico ma i timori che questi sistemi possano causare lesioni o la morte di esseri umani potrebbe diventare una realtà.
Ad esempio, lo sviluppo del sistema coreano di sorveglianza attiva delle linee di frontiera Samsung SGR-1 ha suscitato notevoli controversie e ci si domanda se sia etico lasciare ad una macchina la scelta autonoma di uccidere individui scoperti nella sua area di controllo solo sulla base di una sua valutazione personale.
Fantascienza? Non dobbiamo arrivare ad immaginarci scenari stile Terminator o Battlestar Galactica, per fortuna ancora lontani, ma oggigiorno esiste la possibilità che droni autonomi possano decidere di uccidere umani sulla base di ordini precedenti non considerando fattori come l’etica e la morale.
La riduzione dell’incertezza nel processo decisionale
Per comprendere il meccanismo che porta ad intraprendere decisioni a livello umano bisogna analizzare quello che vene definito tecnicamente decision making, il processo decisionale.
Il problema più importante in qualsiasi ambito, anche umano, è decidere bene con il minimo rischio di errore ottenendo la massima efficacia. Come vedremo in breve, la qualità della raccolta ed analisi delle informazioni di una situazione operativa migliora la comprensione dell’ambiente e favorisce la corretta scelta decisionale. In parole semplici, deriva in parte dalla qualità e prestanza dei sensori di sorveglianza esterna (visori, radar, sonar, etc.), e in parte dall’esperienza, intuizione e giudizio dell’operatore umano. Questo processo è molto complesso e nel meccanismo intervengono diversi fattori che di fatto “filtrano” l’informazione, rendendola molto soggettiva. Potremmo immaginare il processo come uno strano cannocchiale a doppio cono (Miller et Shattuck, U.S. Navy Postgraduate School, Monterey) in cui il primo è rivolto verso il mondo reale ed osserva, a seconda della sua larghezza, solo una parte dell’informazione totale. Le lenti poste al suo interno sono fondamentali perché rappresentano i livelli di filtraggio delle informazioni. Maggiore è la prestanza della lente (sensore) migliore è la qualità e quantità dell’informazione raccolta.
Il cono, che potremmo immaginare come un collettore di dati, man mano che si avvicina verso l’osservatore subisce una riduzione quantitativa dell’informazione legata principalmente al filtraggio di dati potenzialmente errati (tecnicamente possiamo immaginarli come filtri passa alto o passa basso) che riduce la possibilità di errore di valutazione ma anche la sua capacità di identificare comportamenti anomali sospetti. A questo punto l’operatore riceve una mole di dati sul suo sistema di rappresentazione ed, inconsapevolmente, effettua un secondo filtraggio delle informazioni legato a fattori personali quali:
l’attenzione (stato fisico e motivazione dell’operatore nel momento dell’analisi);- il livello di esperienza (maturato a seguito dell’addestramento ricevuto sia individualmente che nel lavoro di team);
- l’intuizione (dote personale non misurabile relativa alla sua capacità di vedere oltre il visibile);
- pregiudizi umani (legati al gender, alla religione, al credo sociale o politico, alla motivazione, etc.).
In parole semplici, il sensore ci mostra solo una percentuale di informazioni legata alla sua accuratezza di analisi tecnologica; la mole di dati viene filtrata sia dalla macchina (a causa dei limiti dei sensori e dagli algoritmi di gestione dei dati), sia dall’operatore che può scartare o dare importanza ad alcuni dati ricevuti a seconda del momento. Alla fin fine, il decisore (colui che deve prendere la decisione) riceve una situazione filtrata - spesso confrontata con quella proveniente da altri operatori - per cui il suo livello di incertezza decisionale aumenta ulteriormente. Questo limite umano farebbe quindi propendere per una gestione robotica, non affetta da limiti e pregiudizi ma… vengono ad inserirsi altri fattori di carattere etico e morale.
Cosa fare per ridurre l’incertezza decisionale?
La risposta più facile potrebbe essere impiegare sistemi sempre più potenti, in grado di analizzare grandi quantità di dati, qualitativamente e quantitativamente sempre più performanti, rendendoli disponibili agli operatori con algoritmi di supporto decisionale sempre più intelligenti. Tutto questo in tempi quanto più ridotti in quanto le informazioni raccolte sono comunque deperibili e l’avversario potrebbe intraprendere nuove azioni cambiando la situazione iniziale. Sebbene questo processo non sia dissimile in molti ambienti lavorativi, in ambito militare è particolarmente sensibile in quanto la tempistica di reazione può salvare vite umane.
Tecnicamente si parla di Comando, Controllo e Comunicazioni (C3), per definire quel processo continuo e ciclico attraverso il quale un comandante prende decisioni ed esercita, attraverso i suoi mezzi di Comunicazione, la sua autorità sui comandanti subordinati.
Uno dei metodi decisionali più noti è il Ciclo OODA, acronimo per descrivere uno schema di processo decisionale ovvero: Osservare-Orientare-Decidere-Agire.
Come abbiamo premesso, il primo passo verso la comprensione di un evento è la raccolta e l’elaborazione dei dati raccolti dai sensori, effettuata da architetture di sistemi (computer) che, attraverso l’uso di programmi organizzano i dati, li filtrano (eliminando informazioni non coerenti), e generano grafici, disegnando o rappresentando le informazioni (Observe). A questo punto l’operatore inizia ad orientarsi attraverso l’analisi, la correlazione dei dati, valutandoli in termini di affidabilità, pertinenza ed importanza (Orient) e trasforma la conoscenza in comprensione. Semplice a dirsi, ma sempre molto soggettivo in quanto tutti gli operatori possiedono una loro capacità basata sulle esperienze precedenti e l’addestramento ma limitata dallo stato fisico del momento (stanchezza, tensione, risentimento,…), nonché pregiudizi personali (io sono meglio di lui/lei, … non capisce, chi me lo fa fare …) e regole fissate dalle autorità superiori (un esempio pratico sono le consegne per gli operatori che sono redatte sulla base delle direttive superiori, come le regole di ingaggio – ROE – che sono a loro volta scritte e approvate a livello politico, spesso lontane dalla realtà del momento). Questo comporta che la comprensione di un evento è sempre diversa da operatore ad operatore perché basata su fattori tecnici e umani diversi (il cosiddetto human factor).
Ma non è finita … gli operatori devono quindi condividere le loro opinioni ovvero relazionarsi con i livelli decisori superiori. Questo ambito, secondo la legge di Metcalfe3, è ancora più complesso a causa dell’aumento del numero di connessioni che si vengono a generare. Inoltre, vanno considerate le differenze di analisi degli operatori sono affette da una diversa origine; il caso classico è quando provengono da ambienti lavorativi diversi (militare, civile) ma anche di paesi e culture diversi). Un esempio classico è un operatore, formato in un ambiente occidentale, che devo collaborare con un collega asiatico: Nel primo caso il suo processo di analisi è euclideo, ovvero problema, possibili soluzioni, analisi e decisione, nel secondo il problema va visto nel suo insieme (visione olistica).
In sintesi, potremmo dire che gli errori crescono proporzionalmente man mano che la complessità relazionale aumenta. Si apre quindi il secondo cono, opposto all’altro, che si allarga man mano che si aggiungono valutazioni da diverse fonti.
Questo spiega il fatto che in ambienti dinamici vengono spesso applicate risposte pre-pianificate per ridurre i tempi e massimizzare gli sforzi (riducendo in teoria gli errori).
Umani vs Computer
Di fatto, in una società tecnologica sempre più veloce, stanno nascendo delle forbici generazionali, dove il potere decisionale è spesso assegnato a personale che proviene da esperienze maturate in un’epoca analogica che deve però confrontarsi e guidare staff di persone nate in un’epoca digitale dove il flusso delle informazioni è multidimensionale e richiede flessibilità e comprensione “multiculturale”. La tentazione di affidare ai processi robotici la gestione del nostro futuro potrebbe essere quindi una prospettiva allettante. Macchine intelligenti, che possano operare su big data seguendo regole assegnate senza debolezze umane.
Ma siamo sicuri che la tecnologia possa essere la panacea di tutti i limiti umani o se sia invece necessario continuare a mantenere un controllo umano sulle macchine? Chi sarebbe responsabile degli effetti collaterali?
L’aumento dell’autonomia decisionale è una progressione naturale della tecnologia e, di fatto, non ci sarebbe nulla di intrinsecamente amorale nel fatto che un computer potesse prendere decisioni anche per l’Uomo … se non fosse che, a seguito di alcune decisioni potrebbero seguire azioni letali.
Le leggi che regolano i conflitti (ad esempio il San Remo Manual) impongono regole ben precise che limitano quali siano gli unici bersagli validi ovvero quelli che possano potenzialmente infliggere dei danni. Ad oggi una decisione di un’azione letale è di massima sempre legata alla decisione dell’Uomo ed implica un’analisi complessa che tiene conto del “consequence management”. Alcuni sostenitori delle costruzioni di macchine autonome da combattimento ritengono che ci sarebbero vantaggi strategici con una riduzione del rischio per gli esseri umani, ma di fatto l’efficacia di un’arma non è sempre una giustificazione per il suo utilizzo.
A questo punto torniamo alla domanda principale ovvero se sia lecito lasciare la decisione di uccidere un essere umano ad una macchina.
Secondo Sidney Axinn, professore presso il Philosophy Department all’University of South Florida e co-autore del saggio La Moralità dei robot autonomi, la decisione di un’azione letale deve restare umana e non è etico permettere ad una macchina di fare una scelta così critica. Secondo Arkin (2010) i robot potrebbero fare un lavoro migliore degli esseri umani nel prendere decisioni mirate perché non hanno alcun motivo di vendetta… ma è anche vero che, nonostante la loro abilità, non si possono rendere conto della gravità di uccidere la persona “sbagliata”.
In sintesi, sebbene il processo decisionale sia supportato da macchine sempre più performanti, la decisione finale dovrebbe essere sempre lasciata all’Uomo che, con tutte le sue debolezze, ha la possibilità di discernere tra il bene e il male, almeno fino a quando manterrà la sua umanità (cosa che non è sempre scontata). L’impiego di droni militari autonomi dovrebbe essere quindi strettamente regolamentato come quello di altre armi come mine, armi biologiche e chimiche, per evitare che il “servo” si rivolga contro il “padrone”, non per cattiveria (una macchina non ha sentimenti) ma per la nostra imperfezione. In un’epoca in cui l’evoluzione tecnica offre strumenti mirabolanti dovremmo imparare ad usarli per garantire un futuro alla nostra specie… ed evitare che macchine sempre più intelligenti possano comprendere le nostre debolezze, che ci rendono umani, e distruggerci. D’altronde, una delle tante piccole verità delle famose leggi di Murphy afferma che “Undetectable errors are infinite in variety, in contrast to detectable errors, which by definition are limited“ (Gli errori non rilevabili sono infinitamente vari, a differenza degli errori rilevabili che, per definizione, sono limitati).
Note
1. Ricordo tra le tante convenzioni:
– La Convenzione dell’Aia relativa alle leggi e alle consuetudini della guerra terrestre e relativo allegato, Paesi Bassi, 18 ottobre 1907
– Le Convenzioni di Ginevra, Svizzera, 12 agosto 1949.
– La Convenzione su alcune armi convenzionali (CCW), 10 aprile 1981
– Il San Remo Manual on International Law Applicable to Armed Conflicts at Sea, 31 dicembre 1995, San Remo, Italia
– La Convenzione sulla proibizione dell’uso, stoccaggio, produzione e trasferimento di Mine personali e sulla loro distruzione di Ottawa, Canada, 3 dicembre 1997
2. Prima legge di Isaac Asimov, “A robot may not injure a human being or, through inaction, allow a human being to come to harm” ovvero “un robot può non ferire un essere umano, o attraverso l’inazione, permettere a un essere umano di farsi del male”.
3. La legge di Metcalfe afferma che la complessità di una rete di telecomunicazioni è proporzionale al quadrato del numero di utenti collegati meno il numero stesso (v. immagine). In pratica con l’aumento dei nodi aumenta la complessità. La legge prende il nome da Robert Metcalfe e fu proposta per la prima volta nel 1980, anche se non in termini di utenti, ma piuttosto di “dispositivi di comunicazione compatibili”. Nella figura (da Wikipedia) vediamo che due telefoni possono effettuare soltanto una connessione tra loro, cinque telefoni possono effettuarne in totale venti diverse, dodici telefoni ne possono effettuare 132, ma 1.000 apparecchi collegati fra di loro arrivano a 999.000. Quindi, aumentando il numero dei nodi (telefoni), la complessità aumenta secondo la legge n2-n dove n è il numero di nodi (apparecchi).
4. Nel decision making la differente visione del mondo Occidentale e Orientale è tutt’altro che un’interpretazione culturale, essendo basata su due concetti decisionali diversi: il mondo occidentale pensa in maniera analitica (problema, analisi, possibili soluzioni, scelta finale, secondo una logica decisionale lineare), quello orientale osserva ogni aspetto della vita (feng shui) in maniera circolare, ovvero l’analisi su un problema è fatta da diverse angolazioni per addivenire ad una possibile soluzione. Questo comporta che due individui di formazione diversa chiamati a decidere su un problema possono avere tempi e scelte diverse. Il problema è sensibile quando queste persone lavorano nello stesso staff. Un riferimento interessante da leggere sull’argomento è “The geography of thought” di Richard E. Nisbett.
Riferimenti
Johnson, Aaron M., and Sidney Axinn. “The Morality of autonomous robots”, Journal of Military Ethics 12.2 (2013): 129–141. Web. https://www.academia.edu/10088893/The_Morality_of_Autonomous_Robots
Arkin, R. C. “The Case for Ethical Autonomy in Unmanned Systems,” Journal of Military Ethics, Vol. 9, Issue 4, pp. 332-341, 2010
Lawrence G. Shattuck and Nita Lewis Miller. Extending Naturalistic Decision Making to Complex Organizations: A Dynamic Model of Situated Cognition 05_Shattuck_27_7_paged.pdf (nps.edu) https://faculty.nps.edu/nlmiller/docs/05_Shattuck_27_7_paged.pdf, 2006
Richard E. Nisbett “The geography of thought, how Westerners think differently and why” , Nicholas Brealey Publishing, London, 2003
Bandioli Marco, L’intelligenza artificiale per i campi di battaglia e per la sicurezza, Difesa online, 2019
Immagini: Lallo Mari / web
(articolo originariamente pubblicato su https://www.ocean4future.org)
