Meredith Broussard, giornalista di dati presso la New York University, è preoccupata per la versione hollywoodiana dell’intelligenza artificiale e per la prontezza del pubblico ad abbracciare l’IA fittizia che viene spesso rappresentata sullo schermo.
“Le persone tendono a drammatizzare eccessivamente il ruolo dell’IA in futuro, e implicano che ci sia un glorioso futuro guidato dall’IA in cui gli esseri umani non dovranno parlare tra loro e i computer si prenderanno cura delle attività banali, e sarà tutto elegante e senza soluzione di continuità”, afferma. “Penso che sia irragionevole. Penso che le nostre narrazioni sull’intelligenza artificiale non dovrebbero concentrarsi su ciò che è immaginario, ma su ciò che è reale”.
Ciò che è fin troppo reale, sostiene, è che l’IA sta causando molti tipi di danni qui e ora. Broussard, una delle poche donne nere che fanno ricerca sull’intelligenza artificiale, vorrebbe vederci affrontare i problemi che hanno dimostrato di essere prevalenti nei sistemi di intelligenza artificiale di oggi, in particolare la questione del pregiudizio basato su gara, genere o abilità. Queste preoccupazioni sono in primo piano e al centro nel suo recente libro, “Più di un problema tecnico: affrontare i pregiudizi di razza, genere e abilità nella tecnologia.”
“Quando la tecnologia rafforza la disuguaglianza, tende a essere definita un problema tecnico, un problema temporaneo che può essere facilmente risolto nel codice”, ha scritto Broussard a Undark in una e-mail. “Ma è molto più di questo.” I pregiudizi che permeano la nostra società sono incorporati nei dati su cui si allenano i nostri programmi per computer, osserva, e alla fine le imperfezioni del nostro mondo si riflettono nei sistemi di intelligenza artificiale che creiamo. “Tutti i problemi sistemici che esistono nella società esistono anche nei sistemi algoritmici”, ha scritto. “È solo più difficile vedere i problemi quando sono incorporati nel codice e nei dati.”
La nostra intervista è stata condotta su Zoom ed è stata modificata per lunghezza e chiarezza.
Undark: Ho pensato che potremmo iniziare con OpenAI ChatGPTe la loro ultima offerta, GPT-4, uscito il mese scorso. Mentre vedi i titoli e vedi le loro capacità apparentemente impressionanti, cosa ti passa per la mente?
Meredith Broussard: Vorrei che la nostra conversazione iniziasse non solo con i potenziali benefici, ma anche con i potenziali rischi delle nuove tecnologie. Quindi, ad esempio, con ChatGPT, viene alimentato con dati che vengono prelevati dal Web aperto. Bene, quando pensiamo a cosa c’è sul web aperto, ci sono molte cose davvero fantastiche e ci sono molte cose davvero tossiche. Quindi chiunque si aspetti che la tecnologia GPT sia positiva ha un’impressione irragionevole di ciò che è disponibile là fuori su Internet.
UD: C’è un lungo elenco di cose di cui le persone sono preoccupate, ad esempio uno studente consegnerà un tema e il professore si chiederà, lo studente l’ha scritto da solo, o hanno ricevuto aiuto da un sistema di intelligenza artificiale? Ma è più complicato di così, giusto?
MB: Ci sono tutti i tipi di sottili pregiudizi che si manifestano all’interno dei sistemi di intelligenza artificiale. Ad esempio, ho appena letto un file articolo su alcuni Volto che abbraccia i ricercatori che avevano un’IA generativa generano immagini, sulla base di alcuni suggerimenti. E quando hanno inserito la richiesta di “CEO”, hanno ottenuto principalmente immagini maschili. Quindi ci sono questi pregiudizi molto umani che si manifestano all’interno dei sistemi tecnologici.
Per molto tempo, l’etica dominante nella Silicon Valley è stata una sorta di pregiudizio che chiamo “sciovinismo tecnologico”: l’idea che le soluzioni computazionali siano superiori, che i computer siano in qualche modo elevati, più obiettivi, più neutri, più imparziali.
Quello che direi invece è che i computer sono davvero bravi a prendere decisioni matematiche e non altrettanto bravi a prendere decisioni sociali. Quindi, quando creiamo sistemi come ChatGPT, o DALL-E, O Diffusione stabile, o qualsiasi altra cosa, otterrai pregiudizi negli output di questi sistemi, perché hai pregiudizi negli input, nei dati utilizzati per costruire questi sistemi. E non c’è modo di evitarlo, perché non viviamo in un mondo perfetto. E i dati rappresentano il mondo così com’è e il nostro passato problematico.
Quando parliamo del binario di genere nel contesto dell’informatica, si tratta letteralmente di zeri e uno: si tratta dello spazio di memoria nel computer.
UD: Sottolinei che alcuni dei problemi nei nostri algoritmi risalgono agli anni ’50. Puoi approfondire? Cosa stava succedendo allora che si manifesta ancora oggi?
MB: Le idee degli anni ’50 sul genere sono ancora incorporate nei sistemi tecnologici di oggi. Lo vedi in qualcosa di simile al modo in cui sono progettati i moduli – i tipi di moduli che compili continuamente – che vanno nei database.
Quando mi è stato insegnato come programmare i database al college, agli albori dell’era di Internet, mi è stato insegnato che il genere dovrebbe essere un valore binario e che era fisso. Ora sappiamo che il genere è uno spettro e la migliore pratica in questo momento è rendere il genere un campo modificabile, un campo che un utente può modificare da solo, in privato, senza parlare con il servizio clienti o altro. Ma non è solo una questione di “Oh, dovrò cambiare il modo in cui questo campo è rappresentato in questo modulo Google che sto creando”, perché non tutto è un modulo Google.
Quando ti iscrivi a scuola, ad esempio, stai effettuando una registrazione nel sistema informativo degli studenti. I sistemi informativi per gli studenti sono generalmente questi monoliti che sono stati istituiti decenni e decenni fa e continuano ad essere aggiunti. Le persone non tendono a entrare e rivedere i loro sistemi aziendali su larga scala. È lo stesso affare nel settore bancario, è la stessa situazione nelle assicurazioni.
L’altra cosa da considerare quando si parla di genere è che quando parliamo di genere binario nel contesto dell’informatica, si tratta letteralmente di zeri e uno: si tratta dello spazio di memoria nel computer. Un binario occupa una piccola quantità di spazio e una lettera o una parola occupa una quantità maggiore di spazio. E dovevamo scrivere i nostri programmi in modo che fossero molto, molto piccoli, perché la memoria era molto costosa: i computer erano costosi.
Quindi c’era un imperativo economico nel mantenere il genere rappresentato come un binario, così come un concetto sociale dominante che il genere fosse un binario.
Le cose sono diverse ora. Abbiamo un sacco di memoria a buon mercato. E abbiamo una diversa comprensione del genere. Ma i nostri nuovi sistemi devono anche comunicare con i sistemi legacy, e i sistemi legacy hanno questa estetica normativa che risale ai primissimi giorni dell’informatica. Quindi non è inclusivo per le persone trans, non binarie o non conformi al genere.
UD: Nel tuo libro, osservi come si fa sentire l’impatto dell’IA nel sistema di giustizia, e nella polizia. Di cosa sei particolarmente preoccupato quando l’intelligenza artificiale si fa strada in quel regno?
MB: Sono piuttosto preoccupato per le immagini hollywoodiane dell’intelligenza artificiale e per il modo in cui queste dominano l’immaginazione delle persone. Le persone immaginano che “Minority Report” sia un futuro reale che vogliono realizzare. E questo non è un futuro che desidero particolarmente realizzare. E in una democrazia possiamo parlare di questo, possiamo decidere collettivamente, qual è il futuro che vogliamo. Non sono d’accordo su un futuro di maggiore sorveglianza; di utilizzare strumenti di intelligenza artificiale per la polizia che più frequentemente identificano erroneamente le persone con la pelle più scura. Gli strumenti di intelligenza artificiale spesso semplicemente non funzionano, punto. Spesso funzionano meglio per le persone con la pelle più chiara rispetto alle persone con la pelle più scura.
E questo è vero su tutta la linea. Quindi, quando prendiamo questi strumenti problematici e poi li usiamo in qualcosa come la polizia, generalmente esacerba i problemi che abbiamo già in America riguardo all’eccessiva sorveglianza dei quartieri neri e marroni, la crisi carceraria in generale.
Come reporter di responsabilità algoritmica, interroghiamo le scatole nere: scopriamo quali sono gli input, quali sono gli output e cosa deve succedere all’interno del sistema.
UD: Citi anche l’idea dell’auditing algoritmico. Che cos’è e come potrebbe essere utile?
MB: Due cose di cui sono davvero entusiasta sono l’audit algoritmico e i cambiamenti delle politiche all’orizzonte. L’audit algoritmico è il processo di apertura di una “scatola nera” e di valutazione dei problemi.
Abbiamo un’esplosione di lavoro sulle concezioni matematiche dell’equità e sui metodi per valutare gli algoritmi per il bias. Il primo passo è, ovviamente, sapere che esiste l’auditing algoritmico. Il secondo passo è essere disposti ad avere conversazioni dure all’interno delle organizzazioni in cui le persone si confrontano con il fatto che i loro algoritmi sono probabilmente discriminanti.
Penso che sia importante notare che tutti abbiamo pregiudizi inconsci. Cerchiamo tutti di diventare persone migliori ogni giorno. Ma tutti abbiamo pregiudizi inconsci: incorporiamo il nostro pregiudizio inconscio nelle cose che facciamo, comprese le nostre tecnologie. E così quando inizi a cercare problemi all’interno di sistemi algoritmici, li troverai.
Possiamo incorporare controlli di bias nei processi aziendali ordinari. Le persone hanno già processi di test per il software. Quando stai testando il tuo software per verificare se funziona, è una buona idea testarlo anche per bias. E sappiamo di molti tipi di pregiudizi che esistono. È probabile che in futuro verranno scoperti altri tipi di pregiudizi. Dovremmo testare anche quelli. E se qualcosa è così parziale da essere discriminatorio, forse non dovrebbe essere usato.
UD: Hai usato la frase “scatola nera”. Puoi approfondire?
MB: Se parleremo di equità e parleremo dell’opportunità di utilizzare particolari programmi per computer in contesti particolari, dobbiamo entrare nella matematica e dobbiamo parlare di più di ciò che è effettivamente accadendo all’interno del sistema software. E quindi dobbiamo aprire un po’ la scatola nera.
Questa è una delle cose che fanno i giornalisti di responsabilità algoritmica. Il giornalismo di responsabilità algoritmica è una sorta di giornalismo di dati. È stato introdotto da Julia Angwin nel suo “Machine Bias indagine per ProPublica. Julia in seguito ha continuato a fondare Il markup, che è un negozio investigativo sulla responsabilità algoritmica. E quello che facciamo come reporter di responsabilità algoritmica è, interroghiamo scatole nere: capiamo quali sono gli input, quali sono gli output e cosa deve succedere all’interno del sistema.
È una sorta di controllo algoritmico. Perché quando conosci gli input e gli output, puoi capire cosa c’è dentro. Si chiama audit esterno. Ma se sei all’interno di un’azienda, puoi eseguire un audit interno, il che è molto più semplice perché hai accesso al modello e al codice, nonché ai dati di addestramento e ai dati di test.
Direi anche a tutte le persone che leggono questo che lavorano in aziende, probabilmente vorrai fare audit interni, audit di responsabilità algoritmica e audit di pregiudizi. Perché in questo modo eviti di interessare i giornalisti investigativi a fare audit esterni dei tuoi sistemi.
Questo articolo è stato originariamente pubblicato su Non scuro. Leggi il articolo originale.
La posta Perché l’IA deve essere calibrata per il bias apparso per primo su Verità.
Fonte: www.veritydig.com