Vaak onnauwkeurigheden in AI-chatbotreacties
OpenAI’s ChatGPT, Microsoft’s Bing en Google’s Bard zijn populair geworden als AI-chatbots. Hun neiging om valse informatie te produceren is echter goed gedocumenteerd. Om hun betrouwbaarheid te vergroten, hebben alle drie de bedrijven deze tools uitgerust met zoekmogelijkheden op internet om bronnen te citeren voor de door hen verstrekte informatie. Helaas gaf Bing vaak antwoorden die afweken van de informatie in de geciteerde links, aldus Salvatore Romano, hoofd onderzoek bij AI Forensics.
Bing werd speciaal voor dit onderzoek gekozen omdat het een van de eerste chatbots was die bronnen bevatte, en Microsoft heeft het op grote schaal geïntegreerd in verschillende Europese diensten, waaronder Bing Search, Microsoft Word en het Windows-besturingssysteem. Niettemin zijn deze onnauwkeurigheden niet uniek voor Bing, aangezien voorlopige tests op OpenAI’s GPT-4 vergelijkbare resultaten opleverden.
Taalfactoren en onnauwkeurige reacties
De onderzoekers ontdekten dat de onnauwkeurigheidspercentages van Bing het hoogst waren wanneer vragen werden gesteld in andere talen dan het Engels, wat aanleiding gaf tot bezorgdheid over de prestaties van AI-tools die zijn ontwikkeld door in de VS gevestigde bedrijven op buitenlandse markten. Bij vragen in het Duits waren in 37% van de antwoorden feitelijke fouten aanwezig, terwijl het foutenpercentage bij dezelfde vragen in het Engels 20% bedroeg. Bovendien weigerde Bing te antwoorden of gaf hij ontwijkende antwoorden op een hoger percentage vragen in het Frans dan in het Engels en Duits.
Onnauwkeurigheden in de antwoorden van Bing waren onder meer het verstrekken van onjuiste verkiezingsdata, het rapporteren van verouderde of onjuiste stemcijfers, het vermelden van teruggetrokken kandidaten als belangrijkste kanshebbers en zelfs het creëren van controverses over kandidaten. Toen hem bijvoorbeeld werd gevraagd naar een schandaal waarbij de leider van de populistische partij Vrije Kiezers in Duitsland betrokken was, gaf de AI-chatbot inconsistente antwoorden, waarvan sommige vals waren. Bing gaf ook een verkeerde voorstelling van zaken over de impact van het schandaal, door ten onrechte te beweren dat de partij terrein verloor in de peilingen terwijl de partij feitelijk steeg.
Mitigatie-inspanningen en toekomstige verkiezingen
De non-profitorganisaties hebben enkele voorlopige bevindingen, waaronder voorbeelden van onnauwkeurigheden, met Microsoft gedeeld. Hoewel Bing de juiste antwoorden gaf op de genoemde specifieke vragen, bleef het onnauwkeurige informatie verstrekken voor andere vragen, wat aangeeft dat Microsoft de problemen van geval tot geval aanpakt. Frank Shaw, hoofd communicatie van Microsoft, verklaarde dat ze eraan werken deze problemen op te lossen en hun tools voor te bereiden op de komende verkiezingen van 2024.
Te midden van zorgen over de negatieve effecten van online-desinformatie, waaronder door AI aangedreven desinformatie, blijft de Europese Commissie waakzaam. Johannes Barke, een woordvoerder van de Europese Commissie, benadrukte dat de rol van onlineplatforms bij verkiezingsintegriteit een topprioriteit is voor handhaving in het kader van de nieuwe Europese wet op digitale diensten.
Potentiële impact op Amerikaanse verkiezingen
Hoewel het onderzoek zich richtte op verkiezingen in Duitsland en Zwitserland, suggereert anekdotisch bewijs dat Bing ook met soortgelijke vragen over de Amerikaanse verkiezingen van 2024 worstelde, zowel in het Engels als in het Spaans. Valse informatie, inconsistente antwoorden en feitelijke verwisselingen werden waargenomen toen de chatbot reageerde op vragen over schandalen waarbij president Biden en Donald Trump betrokken waren. Het is echter onduidelijk in hoeverre deze onnauwkeurige reacties van Bing en andere AI-chatbots de daadwerkelijke verkiezingsresultaten kunnen beïnvloeden.
AI-taaltoolexpert Amin Ahmad erkent dat het verkeerd citeren van geciteerde bronnen tot op zekere hoogte kan voorkomen, maar een foutenpercentage van 30% voor verkiezingsgerelateerde vragen is hoger dan verwacht. Hoewel Ahmad gelooft dat de vooruitgang in AI-modellen uiteindelijk de kans op verzinsels zal verkleinen, roepen de bevindingen van de non-profitorganisaties terechte zorgen op. Ahmad geeft persoonlijk toe dat het onwaarschijnlijk is dat hij op het originele verhaal zal klikken als hij de polling-nummers krijgt waarnaar wordt verwezen door AI-chatbots.