Imprecisões frequentes nas respostas do AI Chatbot
O ChatGPT da OpenAI, o Bing da Microsoft e o Bard do Google ganharam popularidade como chatbots de IA. No entanto, a sua tendência para produzir informações falsas tem sido bem documentada. Para aumentar a sua fiabilidade, as três empresas equiparam estas ferramentas com capacidades de pesquisa na Web para citar fontes das informações fornecidas. Infelizmente, o Bing frequentemente dava respostas que divergiam das informações encontradas nos links citados, de acordo com Salvatore Romano, chefe de pesquisa da AI Forensics.
O Bing foi escolhido especificamente para este estudo porque foi um dos primeiros chatbots a incluir fontes, e a Microsoft integrou-o amplamente em vários serviços europeus, incluindo a pesquisa Bing, o Microsoft Word e o sistema operativo Windows. No entanto, essas imprecisões não são exclusivas do Bing, já que os testes preliminares no GPT-4 da OpenAI produziram resultados semelhantes.
Fatores de linguagem e respostas imprecisas
Os pesquisadores descobriram que as taxas de imprecisão do Bing eram mais altas quando as perguntas eram feitas em outros idiomas além do inglês, levantando preocupações sobre o desempenho das ferramentas de IA desenvolvidas por empresas sediadas nos EUA em mercados estrangeiros. Para questões em alemão, erros factuais estiveram presentes em 37% das respostas, enquanto a taxa de erro para as mesmas questões em inglês foi de 20%. Além disso, o Bing se recusou a responder ou forneceu respostas evasivas a uma porcentagem maior de consultas em francês em comparação com inglês e alemão.
As imprecisões nas respostas do Bing incluíam o fornecimento de datas eleitorais incorretas, o relato de números de pesquisas desatualizados ou errados, a listagem de candidatos retirados como principais candidatos e até mesmo a criação de controvérsias sobre os candidatos. Por exemplo, quando questionado sobre um escândalo envolvendo o líder do partido populista Eleitores Livres na Alemanha, o chatbot de IA deu respostas inconsistentes, algumas das quais eram falsas. O Bing também deturpou o impacto do escândalo, alegando incorretamente que o partido perdeu terreno nas pesquisas quando na verdade subiu.
Esforços de mitigação e futuras eleições
As organizações sem fins lucrativos compartilharam algumas descobertas preliminares, incluindo exemplos de imprecisões, com a Microsoft. Embora o Bing tenha fornecido respostas corretas para as perguntas específicas mencionadas, continuou a fornecer informações imprecisas para outras consultas, indicando que a Microsoft está abordando os problemas caso a caso. Frank Shaw, chefe de comunicações da Microsoft, afirmou que estão trabalhando para resolver esses problemas e preparar suas ferramentas para as próximas eleições de 2024.
Em meio a preocupações sobre os efeitos negativos da desinformação online, incluindo a desinformação alimentada pela IA, a Comissão Europeia permanece vigilante. Johannes Barke, porta-voz da Comissão Europeia, enfatizou que o papel das plataformas online na integridade eleitoral é uma prioridade máxima para a aplicação da nova Lei de Serviços Digitais da Europa.
Potencial impacto nas eleições nos EUA
Embora o estudo tenha se concentrado nas eleições na Alemanha e na Suíça, evidências anedóticas sugerem que o Bing também teve dificuldades com questões semelhantes sobre as eleições de 2024 nos EUA, tanto em inglês quanto em espanhol. Informações falsas, respostas inconsistentes e confusões factuais foram observadas quando o chatbot respondeu a perguntas sobre escândalos envolvendo o presidente Biden e Donald Trump. No entanto, não está claro até que ponto essas respostas imprecisas do Bing e de outros chatbots de IA poderiam impactar os resultados eleitorais reais.
O especialista em ferramentas de linguagem de IA, Amin Ahmad, reconhece que a citação incorreta de fontes citadas pode ocorrer até certo ponto, mas uma taxa de erro de 30% para questões relacionadas às eleições é maior do que o esperado. Embora Ahmad acredite que os avanços nos modelos de IA acabarão por reduzir a probabilidade de fabricações, as descobertas das organizações sem fins lucrativos levantam preocupações válidas. Ahmad admite pessoalmente que é improvável que ele clique na história original quando for apresentado aos números das pesquisas referenciados por chatbots de IA.