Häufige Ungenauigkeiten bei KI-Chatbot-Antworten
ChatGPT von OpenAI, Bing von Microsoft und Bard von Google haben als KI-Chatbots an Popularität gewonnen. Allerdings ist ihre Tendenz, falsche Informationen zu produzieren, gut dokumentiert. Um ihre Zuverlässigkeit zu erhöhen, haben alle drei Unternehmen diese Tools mit Websuchfunktionen ausgestattet, um Quellen für die von ihnen bereitgestellten Informationen anzugeben. Leider habe Bing oft Antworten gegeben, die von den Informationen in den zitierten Links abwichen, so Salvatore Romano, Forschungsleiter bei AI Forensics.
Bing wurde speziell für diese Studie ausgewählt, weil es einer der ersten Chatbots war, der Quellen einschloss, und Microsoft es umfassend in verschiedene europäische Dienste integriert hat, darunter die Bing-Suche, Microsoft Word und das Windows-Betriebssystem. Diese Ungenauigkeiten treten jedoch nicht nur bei Bing auf, da vorläufige Tests mit GPT-4 von OpenAI zu ähnlichen Ergebnissen führten.
Sprachfaktoren und ungenaue Antworten
Die Forscher fanden heraus, dass die Ungenauigkeitsraten von Bing am höchsten waren, wenn Fragen in anderen Sprachen als Englisch gestellt wurden, was Bedenken hinsichtlich der Leistung von KI-Tools aufkommen ließ, die von in den USA ansässigen Unternehmen auf ausländischen Märkten entwickelt wurden. Bei Fragen auf Deutsch lagen in 37 % der Antworten sachliche Fehler vor, während die Fehlerquote bei den gleichen Fragen auf Englisch bei 20 % lag. Darüber hinaus weigerte sich Bing, auf einen höheren Prozentsatz der Anfragen auf Französisch zu antworten oder antwortete ausweichend als auf Englisch und Deutsch.
Zu den Ungenauigkeiten in Bings Antworten gehörten die Angabe falscher Wahltermine, die Meldung veralteter oder falscher Umfragewerte, die Auflistung zurückgezogener Kandidaten als Spitzenkandidaten und sogar die Entstehung von Kontroversen über Kandidaten. Als der KI-Chatbot beispielsweise nach einem Skandal um den Vorsitzenden der populistischen Partei „Freie Wähler“ in Deutschland gefragt wurde, gab er widersprüchliche, teilweise falsche Antworten. Auch Bing stellte die Auswirkungen des Skandals falsch dar und behauptete fälschlicherweise, die Partei habe in den Umfragen an Boden verloren, obwohl sie tatsächlich anstieg.
Eindämmungsbemühungen und zukünftige Wahlen
Die gemeinnützigen Organisationen teilten Microsoft einige vorläufige Ergebnisse mit, darunter Beispiele für Ungenauigkeiten. Während Bing auf die genannten spezifischen Fragen korrekte Antworten lieferte, lieferte es bei anderen Fragen weiterhin ungenaue Informationen, was darauf hindeutet, dass Microsoft die Probleme von Fall zu Fall angeht. Frank Shaw, Kommunikationschef von Microsoft, erklärte, dass man daran arbeite, diese Probleme zu lösen und seine Tools für die bevorstehenden Wahlen im Jahr 2024 vorzubereiten.
Angesichts der Besorgnis über die negativen Auswirkungen von Online-Desinformation, einschließlich KI-gestützter Desinformation, bleibt die Europäische Kommission wachsam. Johannes Barke, Sprecher der Europäischen Kommission, betonte, dass die Rolle von Online-Plattformen für die Wahlintegrität oberste Priorität bei der Durchsetzung im Rahmen des neuen europäischen Gesetzes über digitale Dienste habe.
Mögliche Auswirkungen auf US-Wahlen
Obwohl sich die Studie auf Wahlen in Deutschland und der Schweiz konzentrierte, deuten vereinzelte Hinweise darauf hin, dass Bing auch auf Englisch und Spanisch mit ähnlichen Fragen zu den US-Wahlen 2024 zu kämpfen hatte. Falsche Informationen, inkonsistente Antworten und sachliche Verwechslungen wurden beobachtet, als der Chatbot auf Anfragen zu Skandalen um Präsident Biden und Donald Trump antwortete. Es ist jedoch unklar, inwieweit sich diese ungenauen Antworten von Bing und anderen KI-Chatbots auf die tatsächlichen Wahlergebnisse auswirken könnten.
Amin Ahmad, Experte für KI-Sprachtools, räumt ein, dass zitierte Quellen in gewissem Maße falsch zitiert werden können, eine Fehlerquote von 30 % bei wahlbezogenen Fragen ist jedoch höher als erwartet. Während Ahmad glaubt, dass Fortschritte bei KI-Modellen letztendlich die Wahrscheinlichkeit von Fälschungen verringern werden, geben die Ergebnisse der gemeinnützigen Organisationen Anlass zu berechtigten Bedenken. Ahmad gibt persönlich zu, dass es unwahrscheinlich ist, dass er auf die Originalgeschichte klickt, wenn ihm Umfragewerte präsentiert werden, auf die von KI-Chatbots verwiesen wird.