Inexactitudes frecuentes en las respuestas de los chatbots de IA
ChatGPT de OpenAI, Bing de Microsoft y Bard de Google han ganado popularidad como chatbots de IA. Sin embargo, su tendencia a producir información falsa ha sido bien documentada. Para mejorar su confiabilidad, las tres empresas han equipado estas herramientas con capacidades de búsqueda web para citar fuentes de la información proporcionada. Desafortunadamente, Bing a menudo daba respuestas que se desviaban de la información encontrada en los enlaces citados, según Salvatore Romano, jefe de investigación de AI Forensics.
Bing fue elegido específicamente para este estudio porque fue uno de los primeros chatbots en incluir fuentes, y Microsoft lo ha integrado ampliamente en varios servicios europeos, incluidos la búsqueda de Bing, Microsoft Word y el sistema operativo Windows. Sin embargo, estas imprecisiones no son exclusivas de Bing, ya que las pruebas preliminares en GPT-4 de OpenAI arrojaron resultados similares.
Factores lingüísticos y respuestas inexactas
Los investigadores descubrieron que las tasas de inexactitud de Bing eran más altas cuando las preguntas se hacían en idiomas distintos del inglés, lo que genera preocupación sobre el rendimiento de las herramientas de inteligencia artificial desarrolladas por empresas con sede en EE. UU. en mercados extranjeros. En las preguntas en alemán, hubo errores fácticos en el 37% de las respuestas, mientras que la tasa de error en las mismas preguntas en inglés fue del 20%. Además, Bing se negó a responder o proporcionó respuestas evasivas a un mayor porcentaje de consultas en francés en comparación con inglés y alemán.
Las imprecisiones en las respuestas de Bing incluyeron proporcionar fechas electorales incorrectas, informar números de encuestas obsoletos o erróneos, incluir a candidatos retirados como principales contendientes e incluso crear controversias sobre los candidatos. Por ejemplo, cuando se le preguntó sobre un escándalo que involucraba al líder del partido populista Votantes Libres en Alemania, el chatbot de IA dio respuestas inconsistentes, algunas de las cuales eran falsas. Bing también tergiversó el impacto del escándalo, afirmando erróneamente que el partido perdió terreno en las encuestas cuando en realidad subió.
Esfuerzos de mitigación y elecciones futuras
Las organizaciones sin fines de lucro compartieron algunos hallazgos preliminares, incluidos ejemplos de imprecisiones, con Microsoft. Si bien Bing proporcionó respuestas correctas para las preguntas específicas mencionadas, continuó brindando información inexacta para otras consultas, lo que indica que Microsoft está abordando los problemas caso por caso. Frank Shaw, responsable de comunicaciones de Microsoft, afirmó que están trabajando para resolver estos problemas y preparar sus herramientas para las próximas elecciones de 2024.
En medio de las preocupaciones sobre los efectos negativos de la desinformación en línea, incluida la desinformación impulsada por la inteligencia artificial, la Comisión Europea permanece alerta. Johannes Barke, portavoz de la Comisión Europea, enfatizó que el papel de las plataformas en línea en la integridad electoral es una de las principales prioridades para su aplicación en virtud de la nueva Ley de Servicios Digitales de Europa.
Posible impacto en las elecciones estadounidenses
Aunque el estudio se centró en las elecciones en Alemania y Suiza, la evidencia anecdótica sugiere que Bing también tuvo problemas con preguntas similares sobre las elecciones estadounidenses de 2024, tanto en inglés como en español. Se observó información falsa, respuestas inconsistentes y confusión de hechos cuando el chatbot respondió a consultas sobre escándalos que involucraban al presidente Biden y Donald Trump. Sin embargo, no está claro hasta qué punto estas respuestas inexactas de Bing y otros chatbots de IA podrían afectar los resultados electorales reales.
El experto en herramientas de lenguaje de inteligencia artificial, Amin Ahmad, reconoce que, hasta cierto punto, se pueden citar mal las fuentes citadas, pero una tasa de error del 30 % en las preguntas relacionadas con las elecciones es mayor de lo esperado. Si bien Ahmad cree que los avances en los modelos de IA eventualmente reducirán la probabilidad de mentiras, los hallazgos de las organizaciones sin fines de lucro plantean preocupaciones válidas. Ahmad admite personalmente que es poco probable que haga clic en la historia original cuando se le presenten cifras de encuestas a las que hacen referencia los chatbots de IA.