AI 챗봇 응답의 빈번한 부정확성
OpenAI의 ChatGPT, 마이크로소프트의 Bing, 구글의 Bard가 AI 챗봇으로 인기를 얻었습니다. 그러나 잘못된 정보를 생성하는 경향은 잘 문서화되어 있습니다. 신뢰성을 높이기 위해 세 회사 모두 제공된 정보의 출처를 인용할 수 있는 웹 검색 기능을 이러한 도구에 탑재했습니다. 안타깝게도 AI Forensics의 연구 책임자인 Salvatore Romano에 따르면 Bing은 종종 인용된 링크에 있는 정보에서 벗어난 답변을 제공했습니다.
Bing은 소스를 포함하는 최초의 챗봇 중 하나였으며 Microsoft는 Bing 검색, Microsoft Word 및 Windows 운영 체제를 비롯한 다양한 유럽 서비스에 Bing을 광범위하게 통합했기 때문에 이 연구를 위해 특별히 선택되었습니다. 그럼에도 불구하고 OpenAI의 GPT-4에 대한 예비 테스트에서 유사한 결과가 나왔기 때문에 이러한 부정확성은 Bing에만 국한되지 않습니다.
언어적 요인과 부정확한 응답
연구원들은 영어 이외의 언어로 질문을 할 때 Bing의 부정확률이 가장 높다는 사실을 발견했으며, 이는 미국 기반 기업이 해외 시장에서 개발한 AI 도구의 성능에 대한 우려를 불러일으켰습니다. 독일어 질문의 경우 응답의 37%에서 사실 오류가 있었고, 영어 질문의 오류율은 20%였습니다. 또한 Bing은 영어와 독일어에 비해 프랑스어로 된 쿼리의 비율이 더 높기 때문에 답변을 거부하거나 회피적인 응답을 제공했습니다.
Bing 응답의 부정확성에는 부정확한 선거 날짜 제공, 오래되었거나 잘못된 투표 번호 보고, 탈퇴한 후보자를 주요 경쟁자로 나열하고 후보자에 대한 논란을 일으키는 것까지 포함되었습니다. 예를 들어, 독일 포퓰리즘 자유 유권자당의 지도자와 관련된 스캔들에 대해 질문을 받았을 때 AI 챗봇은 일관되지 않은 답변을 제공했으며 그 중 일부는 거짓이었습니다. Bing은 또한 당이 실제로 상승했지만 여론 조사에서 지지율을 잃었다고 부정확하게 주장하면서 스캔들의 영향을 잘못 표현했습니다.
완화 노력과 향후 선거
비영리 단체는 부정확한 사례를 포함하여 몇 가지 예비 조사 결과를 Microsoft와 공유했습니다. Bing은 언급된 특정 질문에 대해 정답을 제공했지만 다른 쿼리에 대해서는 계속해서 부정확한 정보를 제공하여 Microsoft가 사례별로 문제를 해결하고 있음을 나타냅니다. Microsoft의 커뮤니케이션 책임자인 Frank Shaw는 이러한 문제를 해결하고 다가오는 2024년 선거를 위한 도구를 준비하기 위해 노력하고 있다고 밝혔습니다.
AI 기반 허위 정보를 포함해 온라인 허위 정보가 미치는 부정적인 영향에 대한 우려가 있는 가운데, 유럽연합 집행위원회는 경계심을 늦추지 않고 있습니다. 유럽연합 집행위원회 대변인 Johannes Barke는 선거 공정성에 있어 온라인 플랫폼의 역할이 유럽의 새로운 디지털 서비스법 시행의 최우선 과제임을 강조했습니다.
미국 선거에 미칠 잠재적 영향
이 연구는 독일과 스위스의 선거에 초점을 맞췄지만 일화적인 증거에 따르면 Bing은 2024년 미국 선거에 관해 영어와 스페인어 모두에서 비슷한 질문으로 어려움을 겪었습니다. 바이든 대통령과 도널드 트럼프 대통령이 연루된 스캔들에 대한 질의에 챗봇이 응답할 때 허위 정보, 일관되지 않은 답변, 사실 혼동이 관찰되었습니다. 그러나 Bing 및 기타 AI 챗봇의 이러한 부정확한 응답이 실제 선거 결과에 어느 정도 영향을 미칠 수 있는지는 확실하지 않습니다.
AI 언어 도구 전문가인 Amin Ahmad는 인용된 출처를 잘못 인용하는 일이 어느 정도 발생할 수 있다는 점을 인정하지만, 선거 관련 질문의 경우 30%의 오류율이 예상보다 높습니다. Ahmad는 AI 모델의 발전이 결국 제작 가능성을 줄일 것이라고 믿고 있지만 비영리 단체의 조사 결과는 타당한 우려를 제기합니다. Ahmad는 AI 챗봇이 참조하는 투표 번호가 표시되면 원본 기사를 클릭할 가능성이 거의 없다고 개인적으로 인정합니다.