Ketidakakuratan yang Sering Terjadi dalam Respons AI Chatbot
ChatGPT OpenAI, Bing Microsoft, dan Bard Google telah mendapatkan popularitas sebagai chatbot AI. Namun, kecenderungan mereka untuk menghasilkan informasi palsu telah terdokumentasi dengan baik. Untuk meningkatkan keandalannya, ketiga perusahaan telah melengkapi alat ini dengan kemampuan pencarian web untuk mengutip sumber informasi yang mereka berikan. Sayangnya, Bing sering kali memberikan jawaban yang menyimpang dari informasi yang terdapat pada tautan yang dikutip, menurut Salvatore Romano, kepala penelitian di AI Forensics.
Bing dipilih secara khusus untuk penelitian ini karena merupakan salah satu chatbot pertama yang menyertakan sumber, dan Microsoft telah mengintegrasikannya secara luas ke berbagai layanan Eropa, termasuk pencarian Bing, Microsoft Word, dan sistem operasi Windows. Namun demikian, ketidakakuratan ini tidak hanya terjadi pada Bing, karena pengujian awal pada GPT-4 OpenAI memberikan hasil serupa.
Faktor Bahasa dan Respons yang Tidak Akurat
Para peneliti menemukan bahwa tingkat ketidakakuratan Bing paling tinggi ketika pertanyaan diajukan dalam bahasa selain bahasa Inggris, sehingga meningkatkan kekhawatiran tentang kinerja alat AI yang dikembangkan oleh perusahaan yang berbasis di AS di pasar luar negeri. Untuk pertanyaan dalam bahasa Jerman, kesalahan faktual terdapat pada 37% jawaban, sedangkan tingkat kesalahan untuk pertanyaan yang sama dalam bahasa Inggris adalah 20%. Selain itu, Bing menolak menjawab atau memberikan tanggapan mengelak terhadap persentase kueri dalam bahasa Prancis yang lebih tinggi dibandingkan bahasa Inggris dan Jerman.
Ketidakakuratan dalam tanggapan Bing termasuk memberikan tanggal pemilu yang salah, melaporkan nomor pemungutan suara yang sudah ketinggalan jaman atau salah, mencantumkan kandidat yang mengundurkan diri sebagai pesaing utama, dan bahkan menciptakan kontroversi mengenai kandidat. Misalnya, ketika ditanya tentang skandal yang melibatkan pemimpin partai populis Free Voters di Jerman, chatbot AI memberikan tanggapan yang tidak konsisten, beberapa di antaranya salah. Bing juga salah menggambarkan dampak skandal tersebut, dengan secara tidak akurat mengklaim bahwa partai tersebut kalah dalam jajak pendapat padahal partai tersebut benar-benar bangkit.
Upaya Mitigasi dan Pemilu Mendatang
Lembaga nonprofit membagikan beberapa temuan awal, termasuk contoh ketidakakuratan, kepada Microsoft. Meskipun Bing memberikan jawaban yang benar untuk pertanyaan spesifik yang disebutkan, Bing terus memberikan informasi yang tidak akurat untuk pertanyaan lainnya, yang menunjukkan bahwa Microsoft mengatasi masalah tersebut berdasarkan kasus per kasus. Frank Shaw, kepala komunikasi Microsoft, menyatakan bahwa mereka berupaya menyelesaikan masalah ini dan mempersiapkan alat mereka untuk pemilu 2024 mendatang.
Di tengah kekhawatiran mengenai dampak negatif disinformasi online, termasuk disinformasi yang didukung AI, Komisi Eropa tetap waspada. Johannes Barke, juru bicara Komisi Eropa, menekankan bahwa peran platform online dalam integritas pemilu adalah prioritas utama penegakan hukum berdasarkan Undang-Undang Layanan Digital Eropa yang baru.
Potensi Dampak pada Pemilu AS
Meskipun penelitian ini berfokus pada pemilu di Jerman dan Swiss, bukti berdasarkan pengalaman menunjukkan bahwa Bing juga kesulitan menjawab pertanyaan serupa tentang pemilu AS tahun 2024 dalam bahasa Inggris dan Spanyol. Informasi yang salah, jawaban yang tidak konsisten, dan kekeliruan faktual terlihat saat chatbot menanggapi pertanyaan tentang skandal yang melibatkan Presiden Biden dan Donald Trump. Namun, masih belum jelas sejauh mana tanggapan yang tidak akurat dari Bing dan chatbot AI lainnya ini dapat berdampak pada hasil pemilu yang sebenarnya.
Pakar bahasa AI, Amin Ahmad, mengakui bahwa kesalahan mengutip sumber yang dikutip dapat terjadi pada tingkat tertentu, namun tingkat kesalahan sebesar 30% untuk pertanyaan terkait pemilu lebih tinggi dari yang diperkirakan. Meskipun Ahmad percaya bahwa kemajuan dalam model AI pada akhirnya akan mengurangi kemungkinan pemalsuan, temuan dari organisasi nirlaba tersebut menimbulkan kekhawatiran yang sah. Ahmad secara pribadi mengaku kecil kemungkinannya akan mengklik cerita aslinya ketika disuguhkan dengan nomor polling yang dirujuk oleh chatbot AI.