Hai sentito la notizia? L’intelligenza generale artificiale, o AGI, ci ucciderà tutti. Anche le persone che vivono nelle regioni più remote del mondo: la foresta pluviale amazzonica, la Siberia settentrionale e l’Antartide. Secondo “AI doomers”, un AGI “disallineato” annienterà l’intera popolazione umana non perché ci odi o abbia una macabra brama di omnicida violenza, ma semplicemente perché esseri umani”sono fatti fuori di atomi che può usare per qualcos’altro. Siamo risorse che utilizzerà per raggiungere i suoi obiettivi finali, qualunque essi siano. O almeno così affermano i “doomers”.
Questa idea di AGI che rappresenta un “rischio esistenziale” per l’umanità ha guadagnato molto successo dopo il rilascio di ChatGPT lo scorso novembre. Geoffrey Hinton, il “padrino dell’IA”, sì espresso questa preoccupazione, così come il autodescritto “teorico delle decisioni” Eliezer Yudkowsky, che discusso nella rivista Time che dovremmo essere disposti a rischiare una guerra termonucleare per prevenire l’AGI nel prossimo futuro. Un altro recente articolo di OpenAI, la società a scopo di lucro dietro ChatGPT e GPT-4, cita “rischi esistenziali” nel chiedere a un’agenzia internazionale di “regolamentare” la ricerca AGI.
Ma quanto sono plausibili questi “rischi esistenziali” dell’AGI? Cos’è esattamente un “rischio esistenziale” e perché è così importante evitarlo?
La prima cosa da notare è che il “rischio esistenziale” ha definizioni sia colloquiali che canoniche. In senso colloquiale, si riferisce semplicemente alla distruzione della nostra specie, con conseguente… totale estinzione umana, per cui l’Homo sapiens scompare interamente e per sempre. Sospetto che questo sia ciò a cui pensa la maggior parte delle persone quando sente il termine “rischio esistenziale”, il che ha senso dato che “esistenziale” significa “di o relativo all’esistenza”.
Ma quanto sono plausibili questi “rischi esistenziali” dell’AGI? Cos’è esattamente un “rischio esistenziale” e perché è così importante evitarlo?
La definizione canonica è molto più controversa perché è legata al “pacchetto TESCREAL” di ideologie di cui ho discusso in il mio ultimo articolo per questa serie. Per ricapitolare brevemente, l’acronimo “TESCREAL” sta per – e preparati per un boccone qui – transumanesimo, estropianismo, singolaritarismo, cosmismo, razionalismo, altruismo efficace e longtermism. L’acronimo goffo è importante perché queste ideologie sono estremamente influenti all’interno della Silicon Valley e del mondo tecnologico più in generale. Elon Musk è un TESCREAList, così come Sam Altman, il CEO di OpenAI, che Musk e Altman hanno co-fondato con i soldi di Pietro Thiel e altri. Comprendere questo pacchetto è la chiave per dare un senso a ciò che sta accadendo con l’élite tecnologica, ed è ciò che ha dato origine alla definizione canonica di “rischio esistenziale” in i primi anni 2000.
In questa definizione, “rischio esistenziale” si riferisce a qualsiasi evento che ci impedirebbe di adempiere “il nostro potenziale a lungo termine” nell’universo. Cosa significa questo? Secondo TESCREALists, realizzare il nostro “potenziale” implicherebbe cose come – e questa non è un’esagerazione – creare una nuova razza di superiore “postumani”, colonizzando l’universo, costruendo gigantesche simulazioni al computer piene di trilioni e trilioni di “felici” persone digitali e alla fine generando “astronomico” importi di “valore” nei prossimi “milioni, miliardi e trilioni di anni”. In altre parole, la definizione canonica di rischio esistenziale è tutto ciò che rovina le nostre possibilità di realizzare un mondo tecno-utopico tra i cieli popolati da un numero enorme di postumani digitali in cui inondano – come ha affermato Nick Bostrom nel suo “Lettera dall’utopia” – “beatitudine e delizia superiori”.
Questo è ciò che molti TESCREAListi intendono quando parlano di “rischi esistenziali”. È per questo che sostengono che i rischi esistenziali “devono essere evitati ad ogni costo”, secondo Bostrom parole, poiché non evitarli significherebbe la perdita dell’utopia e del valore astronomico. Ecco perché Yudkowsky discusso nel suo articolo sul Time che dovremmo essere disposti a rischiare una guerra termonucleare a tutto campo per impedire lo sviluppo di un’AGI apocalittica. Il ragionamento è questo: la guerra termonucleare probabilmente non distruggerebbe completamente il nostro “vasto e glorioso” futuro nell’universo, perché quasi certamente ci sarebbero dei sopravvissuti che potrebbero ricostruire la società. Secondo uno studio recente, se domani scoppiasse una guerra termonucleare tra Stati Uniti e Russia, rimarrebbero un rassicurante 3 miliardi di persone, abbastanza per mantenere ruggente la civiltà industriale, il nostro trampolino di lancio verso lo spazio.
Al contrario, i doomer come Yudkowsky credono che un’apocalisse AGI ucciderebbe ogni persona sulla Terra, cancellando così per sempre il mondo tecno-utopico che altrimenti avremmo potuto disegnare. Un’apocalisse AGI sarebbe una catastrofe esistenziale, mentre una guerra termonucleare quasi certamente non lo sarebbe. Quindi, quando qualcuno su Twitter posato la domanda: “Quante persone possono morire per prevenire l’AGI?” Yudkowsky ha offerto uno sbalorditivo risposta:
Dovrebbero esserci abbastanza sopravvissuti sulla Terra a stretto contatto per formare una popolazione riproduttiva vitale, con spazio libero, e dovrebbero avere un approvvigionamento alimentare sostenibile. Finché è vero, c’è ancora una possibilità di raggiungere le stelle un giorno.
Questo indica perché l’ho fatto discusso che non ci si dovrebbe preoccupare dei “rischi esistenziali” in senso canonico: la visione utopica al centro di questo concetto è un totale fallimento, e potrebbe anche essere pericoloso. A chi importa se 10 ^ 58 persone digitali – Bostrom stima effettiva – vivere in enormi simulazioni al computer sparse per l’universo esiste o no? Molti TESCREAListi direbbero che la mancata nascita di queste persone costituirebbe un’orrenda catastrofe morale. Ma lo sarebbe? Direi di no, e penso che la maggior parte delle persone d’accordo con me. Se questa “utopia” è un fallimento, allora a chi importa dei “rischi esistenziali” sul conto canonico?
Eppure la situazione è più insidiosa di così, perché sia il perseguimento che la realizzazione di questa “utopia” avrebbero quasi certamente conseguenze catastrofiche per la maggior parte dell’umanità. Considera OpenAI. Come notato sopra, la società è stata fondata da TESCREALists ed è ora gestita da uno. Suo missione esplicita è “garantire che l’intelligenza artificiale generale avvantaggi tutta l’umanità”. Eppure i grandi modelli linguistici (LLM) dietro ChatGPT e GPT-4 sono stati costruiti su enormi quantità di furto di proprietà intellettuale. Questo è il motivo per cui una serie di cause legali hanno stato recentemente depositato contro OpenAI. Ancora di più, nel curare i dati di formazione per i suoi LLM, OpenAI ha assunto un’azienda che lavoratori kenioti pagati solo $ 1,32 l’ora per vagliare “esempi di violenza, incitamento all’odio e abusi sessuali” su Internet, che hanno lasciato alcuni lavoratori traumatizzati. Questo sembra “beneficiare tutta l’umanità”? Ovviamente no, il che illustra come il perseguimento dell'”utopia” lascerà dietro di sé una scia di distruzione: alcune persone, forse un numero molto elevato, verranno calpestate durante la marcia verso il paradiso.
Se questa “utopia” è un fallimento, allora a chi importa dei “rischi esistenziali” sul conto canonico?
Ora immaginiamo che i TESCREAListi riescano a creare la loro “utopia”. Per chi è esattamente questa utopia? Alcune persone verranno escluse? Se sì, quali persone? Una delle cose più sorprendenti della letteratura TESCREAL è che non c’è praticamente alcuna considerazione di come dovrebbe essere il futuro da prospettive non occidentali. Quando i TESCREAListi dell’influente Future of Humanity Institute, fondato da Bostrom nel 2005, parlano del “futuro dell’umanità”, non parlano degli interessi dell ‘”umanità” nel suo insieme. Piuttosto, stanno promuovendo una visione estremamente ristretta, completamente occidentale, fondata sul sogno baconiano di saccheggiare l’universo e sul desiderio capitalistico di massimizzare la produttività economica fino ai limiti.
In effetti, Bostrom una volta letteralmente definito un “rischio esistenziale” come qualsiasi cosa che ci impedirebbe di raggiungere la “maturità tecnologica”, definita come “il raggiungimento di capacità che consentano un livello di produttività economica e controllo sulla natura vicino al massimo che potrebbe essere raggiunto”. Soggiogando la natura e massimizzando la produttività, ragiona, saremmo nella posizione ottimale per realizzare la visione TESCREALE di un paradiso postumano. Assente è qualsiasi riferimento a concezioni alternative del futuro dal punto di vista, diciamo, dei musulmani, dell’afrofuturismo, del femminismo, della queerness, della disabilità e così via. Manca anche qualsiasi discussione su quale futuro potrebbe essere il migliore per le creature non umane con cui condividiamo il pianeta Terra. Anche il famoso TESCREAList William MacAskill sostiene che la nostra distruzione del mondo naturale potrebbe benissimo essere nettamente positiva. Perché? Perché gli animali selvatici soffrono, e meno animali selvatici significano meno sofferenze degli animali selvatici. Nel suo parole,
se valutiamo la vita degli animali selvatici come in media peggio di niente, cosa che ritengo plausibile (sebbene incerta), allora arriviamo alla vertiginosa conclusione che dal punto di vista degli stessi animali selvatici, l’enorme crescita ed espansione dell’Homo sapiens è stata una buona cosa.
Lungi dall’essere “utopia”, le grandiose fantasie al centro del TESCREALismo sembrano più un incubo distopico, e per molti gruppi di persone potrebbe persino comportare la loro eliminazione. Quasi ogni utopia immaginata lascia fuori alcune persone – questa è la natura dell’utopia – e per quanto posso dire, se la visione TESCREAL fosse pienamente realizzata, la maggior parte dell’umanità perderebbe (per non parlare della biosfera più in generale).
La definizione canonica di “rischi esistenziali” è più che un punto di partenza, quindi: è costruita attorno a una visione profondamente poco attraente del futuro progettata da uomini bianchi privilegiati nelle università d’élite e all’interno della Silicon Valley, che ora vogliono imporre a tutti gli altri, sia che ci piace o no.
Ma che dire dei “rischi esistenziali” nella definizione colloquiale, che significa semplicemente “l’annientamento di ogni essere umano sulla Terra”? Dovrebbe interessarti se l’AGI rappresenta un rischio esistenziale in questo senso? La risposta è “Certo che dovresti, dal momento che l’estinzione umana significherebbe che tu, la tua famiglia, i tuoi amici e tutti gli altri morireste di una morte terribile”. Questo significa che dovremmo davvero prendere sul serio Yudkowsky e gli altri “doomer” TESCREAListi?
La risposta dipende da quanto sia plausibile un’apocalisse AGI. Non molto tempo fa, ho trovato gli argomenti per cui un’AGI “disallineata” ci avrebbe distrutti alquanto convincente, anche se l’ho fatto di recente cambiato la mia melodia. Un grosso problema con questi argomenti è che non è chiaro come esattamente un AGI possa effettivamente uccidere tutti sulla Terra. Nel suo bestseller del 2014 “Superintelligence”, Bostrom lineamenti una situazione in cui l’AGI “colpisce” l’umanità “attraverso l’attivazione di un sistema d’arma avanzato che l’IA ha perfezionato”. Lui continua:
Se l’arma utilizza biotecnologie o nanotecnologie autoreplicanti, la scorta iniziale necessaria per la copertura globale potrebbe essere microscopica: una singola entità replicante sarebbe sufficiente per avviare il processo. Per garantire un effetto improvviso e uniforme, lo stock iniziale del replicatore potrebbe essere stato dispiegato o lasciato diffondere in tutto il mondo a una concentrazione estremamente bassa e non rilevabile. In un momento prestabilito, le nanofabbriche che producono gas nervino o robot simili a zanzare in cerca di bersagli potrebbero quindi germogliare simultaneamente da ogni metro quadrato del globo.
Yudkowsky indica un diverso insieme di possibilità. Dopo essere chiesto come un AGI potrebbe cancellare l’umanità in modo che non ci siano “sopravvissuti”, ipotizza che potrebbe sintetizzare un germe patogeno che “è super-contagioso ma non letale”. Di conseguenza,
nessuno sforzo significativo viene [fatto] per fermare questo freddo che si diffonde in tutto il mondo e non sembra ferire davvero nessuno. E poi, una volta che l’80% della specie umana è stata infettata da raffreddori del genere, si scopre che ha prodotto un piccolo cambiamento nel tuo cervello da qualche parte. E ora, se suoni un certo tono a una certa altezza, diventerai molto suggestionabile. Quindi, controllo mentale assistito da virus e agenti patogeni artificiali.
Rendendosi conto che questo non ucciderebbe necessariamente tutti, allora Yudkowsky proposto uno scenario diverso. Immagina, dice, che un’AGI decisa a distruggerci crei,
qualcosa che [può] riprodursi nell’aria, nell’atmosfera e al di fuori della luce solare e proprio il tipo di atomi che giacciono nell’atmosfera. Perché quando operi su quella scala, il mondo è pieno di una scorta infinita di… pezzi di ricambio perfetti. Qualcuno ha calcolato quanto tempo ci sarebbe voluto”aerovori” per replicare e oscurare il sole, consumare tutta l’energia solare. Penso che sia stato come un periodo di un paio di giorni. Alla fine di tutto questo ci sono minuscoli batteri diamanteidi [che] si replicano nell’atmosfera, si nascondono nel flusso sanguigno. A un certo ticchettio dell’orologio, tutti sulla Terra cadono morti nello stesso momento.
Tutto questo ha senso o suona come una follia assoluta? Come Carl Sagan notoriamente dichiarato, affermazioni straordinarie richiedono prove straordinarie e l’affermazione del doomer secondo cui un AGI “disallineato” ucciderà l’intera popolazione umana è tanto straordinario quanto ottengono. Allora dove sono le prove? Gli scenari di cui sopra sono poco convincenti.
Un rendering fantascientifico di AGI che contempla schemi sempre più elaborati per la raccolta di corpi umani. Immagine: Adobe
I condannati hanno due risposte a questo. Il primo è basato sul terzo di “tre leggi”, che afferma: “Qualsiasi tecnologia sufficientemente avanzata è indistinguibile dalla magia”. Possiamo illustrarlo per analogia: immagina di viaggiare indietro nel tempo, convincere un uomo di Neanderthal a salire con te sulla macchina del tempo e poi tornare indietro nel presente. Immagina cosa penserebbe questo Neanderthal del nostro mondo. Aerei, interventi chirurgici al cervello, smartphone e GPS sembrerebbero tutti “magici”.
I doomer dell’IA potrebbero usarlo per affermare che: “Guarda, forse non possiamo trovare un modo plausibile in cui l’AGI ucciderebbe tutti. Ma questo non è un motivo per rifiutare la nostra ipotesi del giorno del giudizio. Per definizione, un AGI superintelligente sarebbe inimmaginabilmente “più intelligente” di noi. Ciò gli consentirebbe di creare tecnologie super avanzate e le tecnologie super avanzate sarebbero in grado di manipolare e riorganizzare il mondo in modi che sono, dal nostro limitato punto di vista umano, indistinguibili dalla magia.
Ma se stiamo parlando di un “IA simile a un dio” che traffica in “magia scientifica”, quindi letteralmente tutto va bene. Non ci sono più regole per il gioco conversazionale, nessun senso da dare a questo mondo post-AGI. Forse l’AGI ci distrugge magicamente, ma dato che siamo nella terra della magia, forse no. I condannati lo farebbero notare molti scenari potenziali tutti portano alla conclusione che l’AGI cercherebbe di ucciderci, ma gli argomenti per questa affermazione sono tutti formulati all’interno di quadri meramente umani. Forse queste strutture sono sbagliate in modi che semplicemente non possiamo capire, proprio come un cane non darà mai un senso al comportamento del suo proprietario estrapolando i propri pensieri e istinti nel regno dell’azione umana. Se stiamo parlando di magia al di là della nostra comprensione, allora non c’è proprio nulla di significativo da dire, e quindi queste preoccupazioni del giorno del giudizio non si basano su nulla di intelligibile.
Lungi dall’essere “utopia”, le grandiose fantasie al centro del TESCREALismo sembrano più un incubo distopico, e per molti gruppi di persone potrebbe persino comportare la loro eliminazione.
La seconda risposta all’obiezione di “prove straordinarie” riguarda “valore atteso.” I doomer dell’IA potrebbero dire che anche se questi scenari apocalittici sono estremamente improbabili, le perdite che la nostra estinzione comporterebbe sono così grandi che dovremmo comunque prenderle molto sul serio. In altre parole, se un rischio è la probabilità di un risultato moltiplicata per la sua cattiveria, e se la cattiveria di un risultato è enorme, allora il rischio potrebbe essere molto grande anche se la probabilità è minuscola. Forse “robot simili a zanzare in cerca di bersagli” e “batteri diamanteidi” atmosferici auto-replicanti sono altamente improbabili, ma la posta in gioco è così enorme – tutti sulla Terra muoiono – che dovremmo ancora preoccuparci dell’apocalisse dell’AGI.
Il problema con questo è che lo stesso argomento potrebbe essere usato per sostenere ogni sorta di conclusioni assurde. E se ti dicessi che la prossima volta che starnutirai, l’universo esploderà in una gigantesca e violenta conflagrazione? Si potrebbe pensare che questo avvertimento sia ridicolo, privo di qualsiasi spiegazione di un meccanismo causale. Ma se prendi sul serio la definizione di “valore atteso” di “rischio” menzionata sopra, allora potresti avere una “ragione” abbastanza buona per non starnutire mai più. I TESCREAListi infatti sono consapevoli di questo problema: lo chiamano “La rapina di Pascal”, che descrive una situazione in cui un rapinatore dice che se non gli dai $ 5, torturerà trilioni di persone in un universo parallelo. Sebbene la sua affermazione sia quasi certamente un’assurdità, non puoi sapere con certezza che sta mentendo: l’universo è, dopotutto, un posto molto strano! Quindi, scricchioli i numeri e alla fine consegni i tuoi $ 5.
Il rapinatore ha usato la teoria del valore atteso come arma, e ha funzionato.
Dove ci lascia tutto questo? Da un lato, non dovresti preoccuparti dei “rischi esistenziali” nel senso canonico usato dai TESCREAListi. Questo perché il concetto è intimamente legato a una visione profondamente problematica dell’utopia costruita sui valori occidentali, baconiano-capitalistici di sfruttamento, sottomissione e massimizzazione. Non solo questa visione di 10^58 persone in enormi simulazioni al computer è un completo fallimento, ma il suo perseguimento e la sua realizzazione sarebbero catastrofici per la maggior parte dell’umanità. Il mondo utopico del TESCREALismo sarebbe una distopia per tutti gli altri.
Forse l’AGI ci distrugge magicamente, ma dato che siamo nella terra della magia, forse no.
D’altra parte, dovresti preoccuparti della possibilità che un’AGI causi una catastrofe “esistenziale” se intesa colloquialmente come estinzione umana totale. Il problema, tuttavia, è che non esiste un resoconto plausibile di come un AGI possa realisticamente realizzare ciò, e affermare che impiegherebbe “magia” che non riusciamo proprio a capire rende essenzialmente vacua l’intera conversazione, poiché una volta che siamo entrati nel mondo della magia, tutto va bene. Per riutilizzare una frase famosa di Ludwig Wittgenstein: “Ciò di cui non possiamo parlare dobbiamo passare sotto silenzio”.
Questo è il motivo per cui sono diventato molto critico nei confronti dell’intero dibattito sul “rischio esistenziale AGI”, e perché trovo un peccato che scienziati informatici come Geoffrey Hinton e Giosuè Bengio sono saltati sul carrozzone “AI doomer”. Dovremmo essere molto scettici sul conversazione pubblica circostante AGI “rischi esistenziali”. Ancora di più, dovremmo essere critici su come questi avvertimenti sono stati raccolti e propagati dalle notizie, poiché distraggono dai danni reali che le aziende di intelligenza artificiale stanno causando in questo momento, in particolare alle comunità emarginate.
Se qualcosa rappresenta una minaccia diretta e immediata per l’umanità, è il fascio di ideologie TESCREAL che sta guidando la corsa per costruire l’AGI, ispirando contemporaneamente il contraccolpo dei doomer dell’IA che, come Yudkowsky, affermano che l’AGI deve essere fermato a tutti i costi, anche a il rischio di innescare una guerra termonucleare.
La posta L’AGI minaccia davvero la sopravvivenza della specie? apparso per primo su Verità.
Fonte: www.veritydig.com