Inexactitudes fréquentes dans les réponses des chatbots IA
ChatGPT d’OpenAI, Bing de Microsoft et Bard de Google ont gagné en popularité en tant que chatbots IA. Cependant, leur tendance à produire de fausses informations est bien documentée. Pour améliorer leur fiabilité, les trois sociétés ont équipé ces outils de capacités de recherche sur le Web permettant de citer les sources des informations fournies. Malheureusement, Bing a souvent donné des réponses qui s’écartaient des informations trouvées dans les liens cités, selon Salvatore Romano, responsable de la recherche chez AI Forensics.
Bing a été spécifiquement choisi pour cette étude car il a été l’un des premiers chatbots à inclure des sources, et Microsoft l’a largement intégré dans divers services européens, notamment la recherche Bing, Microsoft Word et le système d’exploitation Windows. Néanmoins, ces inexactitudes ne sont pas propres à Bing, car les tests préliminaires sur GPT-4 d’OpenAI ont donné des résultats similaires.
Facteurs linguistiques et réponses inexactes
Les chercheurs ont découvert que les taux d’inexactitude de Bing étaient plus élevés lorsque les questions étaient posées dans des langues autres que l’anglais, soulevant des inquiétudes quant aux performances des outils d’IA développés par des entreprises basées aux États-Unis sur les marchés étrangers. Pour les questions en allemand, des erreurs factuelles étaient présentes dans 37 % des réponses, tandis que le taux d’erreur pour les mêmes questions en anglais était de 20 %. De plus, Bing a refusé de répondre ou a fourni des réponses évasives à un pourcentage plus élevé de requêtes en français qu’en anglais et en allemand.
Les inexactitudes dans les réponses de Bing comprenaient des dates d’élections incorrectes, des chiffres de sondage obsolètes ou erronés, la liste des candidats retirés comme principaux candidats et même la création de controverses sur les candidats. Par exemple, interrogé sur un scandale impliquant le chef du parti populiste des électeurs libres en Allemagne, le chatbot IA a donné des réponses incohérentes, dont certaines étaient fausses. Bing a également dénaturé l’impact du scandale, affirmant à tort que le parti avait perdu du terrain dans les sondages alors qu’il avait en réalité augmenté.
Efforts d’atténuation et élections futures
Les organisations à but non lucratif ont partagé avec Microsoft certaines conclusions préliminaires, notamment des exemples d’inexactitudes. Bien que Bing ait fourni des réponses correctes aux questions spécifiques mentionnées, il a continué à fournir des informations inexactes pour d’autres requêtes, indiquant que Microsoft résout les problèmes au cas par cas. Frank Shaw, responsable des communications de Microsoft, a déclaré qu’ils travaillaient à résoudre ces problèmes et à préparer leurs outils pour les prochaines élections de 2024.
Au milieu des inquiétudes concernant les effets négatifs de la désinformation en ligne, y compris la désinformation alimentée par l’IA, la Commission européenne reste vigilante. Johannes Barke, porte-parole de la Commission européenne, a souligné que le rôle des plateformes en ligne dans l’intégrité des élections est une priorité absolue pour l’application de la nouvelle loi européenne sur les services numériques.
Impact potentiel sur les élections américaines
Bien que l’étude se soit concentrée sur les élections en Allemagne et en Suisse, des preuves anecdotiques suggèrent que Bing a également eu du mal à répondre à des questions similaires sur les élections américaines de 2024, en anglais et en espagnol. De fausses informations, des réponses incohérentes et des confusions factuelles ont été observées lorsque le chatbot a répondu aux questions sur les scandales impliquant le président Biden et Donald Trump. Cependant, on ne sait pas exactement dans quelle mesure ces réponses inexactes de Bing et d’autres chatbots IA pourraient avoir un impact sur les résultats réels des élections.
Amin Ahmad, expert en outils linguistiques d’IA, reconnaît que des citations erronées des sources citées peuvent se produire dans une certaine mesure, mais un taux d’erreur de 30 % pour les questions liées aux élections est plus élevé que prévu. Même si Ahmad estime que les progrès des modèles d’IA finiront par réduire la probabilité de fabrications, les conclusions des organisations à but non lucratif soulèvent des préoccupations légitimes. Ahmad admet personnellement qu’il est peu probable qu’il clique sur l’histoire originale lorsqu’on lui présente les numéros de sondage référencés par les chatbots IA.