Frequenti imprecisioni nelle risposte dei chatbot AI
ChatGPT di OpenAI, Bing di Microsoft e Bard di Google hanno guadagnato popolarità come chatbot IA. Tuttavia, la loro tendenza a produrre informazioni false è stata ben documentata. Per migliorare la loro affidabilità, tutte e tre le società hanno dotato questi strumenti di funzionalità di ricerca sul web per citare le fonti delle informazioni fornite. Sfortunatamente, secondo Salvatore Romano, responsabile della ricerca presso AI Forensics, Bing spesso ha fornito risposte che si discostavano dalle informazioni trovate nei link citati.
Bing è stato scelto appositamente per questo studio perché è stato uno dei primi chatbot a includere sorgenti e Microsoft lo ha ampiamente integrato in vari servizi europei, tra cui la ricerca Bing, Microsoft Word e il sistema operativo Windows. Tuttavia, queste imprecisioni non riguardano esclusivamente Bing, poiché i test preliminari su GPT-4 di OpenAI hanno prodotto risultati simili.
Fattori linguistici e risposte imprecise
I ricercatori hanno scoperto che i tassi di inesattezza di Bing erano più alti quando le domande venivano poste in lingue diverse dall’inglese, sollevando preoccupazioni sulle prestazioni degli strumenti di intelligenza artificiale sviluppati da aziende con sede negli Stati Uniti sui mercati esteri. Per le domande in tedesco, errori fattuali erano presenti nel 37% delle risposte, mentre il tasso di errore per le stesse domande in inglese era del 20%. Inoltre, Bing ha rifiutato di rispondere o ha fornito risposte evasive a una percentuale maggiore di domande in francese rispetto a quelle in inglese e tedesco.
Le imprecisioni nelle risposte di Bing includevano l’indicazione di date elettorali errate, la segnalazione di numeri elettorali obsoleti o errati, l’elenco dei candidati ritirati come principali contendenti e persino la creazione di controversie sui candidati. Ad esempio, alla domanda su uno scandalo che ha coinvolto il leader del partito populista Elettori Liberi in Germania, il chatbot AI ha dato risposte incoerenti, alcune delle quali erano false. Bing ha anche travisato l’impatto dello scandalo, sostenendo erroneamente che il partito ha perso terreno nei sondaggi quando in realtà è cresciuto.
Sforzi di mitigazione ed elezioni future
Le organizzazioni no-profit hanno condiviso con Microsoft alcuni risultati preliminari, inclusi esempi di inesattezze. Sebbene Bing abbia fornito risposte corrette alle domande specifiche menzionate, ha continuato a fornire informazioni imprecise per altre domande, indicando che Microsoft sta affrontando i problemi caso per caso. Frank Shaw, responsabile delle comunicazioni di Microsoft, ha dichiarato che stanno lavorando per risolvere questi problemi e preparare i propri strumenti per le prossime elezioni del 2024.
Tra le preoccupazioni relative agli effetti negativi della disinformazione online, inclusa la disinformazione basata sull’intelligenza artificiale, la Commissione europea rimane vigile. Johannes Barke, portavoce della Commissione europea, ha sottolineato che il ruolo delle piattaforme online nell’integrità elettorale è una priorità assoluta per l’applicazione della nuova legge europea sui servizi digitali.
Potenziale impatto sulle elezioni statunitensi
Sebbene lo studio si sia concentrato sulle elezioni in Germania e Svizzera, prove aneddotiche suggeriscono che anche Bing ha dovuto affrontare domande simili sulle elezioni americane del 2024 sia in inglese che in spagnolo. Quando il chatbot ha risposto a domande sugli scandali che hanno coinvolto il presidente Biden e Donald Trump, sono state osservate informazioni false, risposte incoerenti e confusione sui fatti. Tuttavia, non è chiaro in che misura queste risposte imprecise di Bing e di altri chatbot basati sull’intelligenza artificiale potrebbero influire sui risultati elettorali effettivi.
Amin Ahmad, esperto di strumenti linguistici per l’intelligenza artificiale, riconosce che in una certa misura possono verificarsi citazioni errate delle fonti citate, ma un tasso di errore del 30% per le domande relative alle elezioni è superiore al previsto. Mentre Ahmad ritiene che i progressi nei modelli di intelligenza artificiale finiranno per ridurre la probabilità di falsificazioni, i risultati delle organizzazioni no-profit sollevano preoccupazioni fondate. Ahmad ammette personalmente che è improbabile che clicchi sulla storia originale quando gli vengono presentati i numeri dei sondaggi a cui fanno riferimento i chatbot di intelligenza artificiale.