Yapay Zeka Chatbot Yanıtlarında Sık Karşılaşılan Yanlışlıklar
OpenAI’nin ChatGPT’si, Microsoft’un Bing’i ve Google’ın Bard’ı yapay zeka sohbet robotları olarak popülerlik kazandı. Ancak yanlış bilgi üretme eğilimleri iyice belgelenmiştir. Güvenilirliklerini artırmak için her üç şirket de bu araçları, sağladıkları bilgiler için kaynak belirtmek üzere web arama yetenekleriyle donattı. AI Forensics araştırma başkanı Salvatore Romano’ya göre ne yazık ki Bing sıklıkla belirtilen bağlantılarda bulunan bilgilerden farklı yanıtlar veriyordu.
Bing, kaynakları içeren ilk sohbet robotlarından biri olması ve Microsoft’un onu Bing arama, Microsoft Word ve Windows işletim sistemi de dahil olmak üzere çeşitli Avrupa hizmetlerine geniş çapta entegre etmesi nedeniyle bu çalışma için özellikle seçildi. Ancak bu yanlışlıklar yalnızca Bing’e özgü değil; OpenAI’nin GPT-4’ünde yapılan ön testler de benzer sonuçlar verdi.
Dil Faktörleri ve Yanlış Yanıtlar
Araştırmacılar, Bing’in yanlışlık oranlarının, sorular İngilizce dışındaki dillerde sorulduğunda en yüksek olduğunu buldu; bu da ABD merkezli şirketler tarafından geliştirilen yapay zeka araçlarının dış pazarlardaki performansına ilişkin endişeleri artırdı. Almanca sorularda yanıtların %37’sinde olgusal hatalar mevcutken, İngilizce sorularda hata oranı %20’dir. Ayrıca Bing, İngilizce ve Almanca’ya kıyasla Fransızca’daki soruların daha büyük bir yüzdesine yanıt vermeyi reddetti veya kaçamak yanıtlar verdi.
Bing’in yanıtlarındaki yanlışlıklar arasında yanlış seçim tarihlerinin belirtilmesi, eski veya hatalı oylama numaralarının bildirilmesi, geri çekilen adayların önde gelen adaylar olarak listelenmesi ve hatta adaylar hakkında tartışma yaratılması yer alıyordu. Örneğin, Almanya’daki popülist Özgür Seçmenler partisinin liderinin karıştığı bir skandal sorulduğunda yapay zeka chatbotu, bazıları yanlış olan tutarsız yanıtlar verdi. Bing ayrıca skandalın etkisini de yanlış aktardı ve partinin anketlerde yükselişe geçtiği halde zemin kaybettiğini iddia etti.
Azaltma Çabaları ve Gelecekteki Seçimler
Kar amacı gütmeyen kuruluşlar, yanlışlık örnekleri de dahil olmak üzere bazı ön bulguları Microsoft ile paylaştı. Bing, bahsedilen belirli sorulara doğru yanıtlar verirken diğer sorgular için yanlış bilgiler sağlamaya devam etti; bu da Microsoft’un sorunları tek tek ele aldığını gösteriyor. Microsoft’un iletişim sorumlusu Frank Shaw, bu sorunları çözmek ve araçlarını yaklaşan 2024 seçimlerine hazırlamak için çalıştıklarını belirtti.
Yapay zeka destekli dezenformasyon da dahil olmak üzere çevrimiçi dezenformasyonun olumsuz etkilerine ilişkin endişelerin ortasında, Avrupa Komisyonu ihtiyatlı olmaya devam ediyor. Avrupa Komisyonu sözcüsü Johannes Barke, çevrimiçi platformların seçim bütünlüğündeki rolünün, Avrupa’nın yeni Dijital Hizmetler Yasası uyarınca uygulama açısından en önemli önceliklerden biri olduğunu vurguladı.
ABD Seçimleri Üzerindeki Potansiyel Etki
Çalışma Almanya ve İsviçre’deki seçimlere odaklanmış olsa da, anekdotsal kanıtlar Bing’in 2024 ABD seçimleriyle ilgili hem İngilizce hem de İspanyolca benzer sorularla boğuştuğunu gösteriyor. Chatbot, Başkan Biden ve Donald Trump’ın dahil olduğu skandallarla ilgili sorulara yanıt verirken yanlış bilgiler, tutarsız yanıtlar ve gerçeklere dayalı karışıklıklar gözlemlendi. Ancak Bing ve diğer yapay zeka sohbet robotlarından gelen bu hatalı yanıtların gerçek seçim sonuçlarını ne ölçüde etkileyebileceği belirsiz.
Yapay zeka dil aracı uzmanı Amin Ahmad, alıntı yapılan kaynakların bir dereceye kadar yanlış alıntılanabileceğini ancak seçimle ilgili sorularda %30’luk hata oranının beklenenden daha yüksek olduğunu kabul ediyor. Ahmad, yapay zeka modellerindeki gelişmelerin eninde sonunda uydurma olasılığını azaltacağına inansa da kâr amacı gütmeyen kuruluşların bulguları geçerli endişeleri artırıyor. Ahmad, yapay zeka sohbet robotlarının referans verdiği oylama numaraları kendisine sunulduğunda orijinal hikayeye tıklama ihtimalinin düşük olduğunu kişisel olarak itiraf ediyor.