Il gioco del telefono senza fili rivela i pregiudizi di ChatGPT

Read in English

I critici dei sistemi di intelligenza artificiale come ChatGPT fanno spesso notare che essi rischiano di ereditare dagli esseri umani pregiudizi culturali che possono influenzare il modo in cui producono e trasmettono le informazioni. Un esperimento ha ora dimostrato che questo avviene davvero.

ChatGPT appartiene alla classe dei grandi modelli linguistici (LLM), che sono sistemi di intelligenza artificiale progettati per generare testi simili a quelli umani, addestrati su enormi collezioni di testi presi da Internet. Per indagare sui pregiudizi degli LLM, il team ha applicato il metodo della "catena di trasmissione", che ha una lunga storia in psicologia ed è essenzialmente una versione da laboratorio del gioco del telefono senza fili per bambini. In questo metodo, i partecipanti umani devono trasmettere iterativamente l’uno all’altro una storia, e i ricercatori tengono traccia di come la storia viene modificata a ogni passaggio della trasmissione. Questa metodologia è particolarmente adatta per indagare i pregiudizi nei LLM, perché può essere confrontata direttamente con i risultati degli esseri umani e può evidenziare la presenza di sottili pregiudizi che altrimenti non verrebbero identificati.

In questo studio¹, Alberto Acerbi dell'Università di Trento e Joseph Stubbersfield dell'Università di Winchester, nel Regno Unito, hanno chiesto a un LLM di riassumere e riformulare una storia. Poi hanno restituito il riassunto così ottenuto all'intelligenza artificiale e le hanno chiesto di riassumerlo di nuovo, ripetendo l'operazione per tre volte.

Acerbi e Stubbersfield hanno utilizzato le stesse storie usate in cinque esperimenti di psicologia con partecipanti umani precedentemente pubblicati, ognuna di esse con lo scopo per evidenziare uno specifico pregiudizio. Ad esempio, una storia includeva elementi coerenti con gli stereotipi di genere (come una moglie che cucina per una cena a cui il marito ha invitato degli ospiti) insieme a elementi che li contraddicevano (la stessa moglie che esce a bere con gli amici prima della cena). Un'altra storia presentava sia elementi negativi che positivi, nonché elementi ambigui che potevano essere interpretati in entrambi i modi (ad esempio, un uomo che "prende la borsa di un'anziana signora", che può essere letto come un gesto di aiuto o come un furto). Una terza storia includeva elementi che suggerivano una minaccia accanto ad altri rassicuranti, e così via.

In tutti e cinque gli esperimenti, ChatGPT ha riprodotto gli stessi pregiudizi osservati nei partecipanti umani. Nel selezionare cosa includere nei riassunti, ha scelto di mantenere le informazioni conformi agli stereotipi di genere e di scartare quelle non conformi. Ha scelto informazioni negative piuttosto che positive e ha mostrato una tendenza a interpretare le situazioni ambigue come negative. Inoltre, ha favorito la trasmissione di contenuti legati a possibili minacce, e di contenuti sociali rispetto alle informazioni prive di aspetto sociale.

Gli autori sottolineano come, senza l'intervento dell'uomo, questi pregiudizi possano produrre effetti dannosi, amplificando tendenze umane preesistenti. I pregiudizi umani possono essere legati a caratteristiche cognitive che sono state selezionate durante l'evoluzione (ad esempio, prestare particolare attenzione alle potenziali minacce è sicuramente utile), ma non forniscono necessariamente contenuti informativi o di valore. Di fronte a informazioni ambigue, ad esempio, i LLM possono finire per produrre sempre un risultato negativo anziché neutro.

"Come per molte tecnologie, dobbiamo imparare a usarle al meglio", afferma Acerbi. "Man mano che si adattano a noi, noi, come individui e come società, ci adattiamo a loro. La cosa più importante è sapere che questi pregiudizi esistono", conclude.