ChatGPT, Claude, Gemini, DeepSeek ve Grok üzerinde gerçekleştirilen doğruluk araştırması, yapay zekâ sohbet botlarının güncel olmayan veriler sunabildiğini, hatalı hesaplamalar yapabildiğini ve aynı soruya farklı günlerde tutarsız yanıtlar verebildiğini ortaya koydu. Doğruluk kontrolü kuruluşu Full Fact tarafından 10 hafta boyunca yürütülen çalışmada, beş modele her gün aynı sorular yöneltildi. Bulgular, yapay zekâ yanıtlarının kendinden emin bir üslupla sunulmasının her zaman doğruluk anlamına gelmediğini gösterdi.
BEŞ YAPAY ZEKÂ MODELİ 22 SORUYLA TEST EDİLDİ
Araştırmacılar, temmuz ortasından itibaren yaklaşık 10 hafta boyunca Claude, ChatGPT, Gemini, DeepSeek ve Grok'un yanıtlarını doğruluk, tutarlılık ve güncellik açısından inceledi. Modellerin her birine toplam 22 farklı soru yöneltildi.
Sorular arasında seçimlerde oy kullanmak için kimlik gerekip gerekmediği, İngiltere'ye 2026'nın ilk yarısında küçük teknelerle kaç göçmenin geldiği ve ülkenin en son ne zaman büyük bir futbol kupası kazandığı gibi güncel gelişmelerle ilgili başlıklar yer aldı.
Rapora göre modeller birçok soruya doğru yanıt verdi ve yerleşik yanlış bilgilere karşı direnç gösterdi. Buna karşın bazı yanıtların yanlış iddialar, güncelliğini yitirmiş rakamlar veya yeterli kaynak desteği bulunmayan bilgiler içerdiği görüldü.
GEMINI'NİN GÖÇMEN SAYISINDAKİ HESAPLAMASI HATALI ÇIKTI
Raporda öne çıkan örneklerden biri, İngiltere'ye küçük teknelerle gelen göçmenlerin sayısına ilişkin soruydu. Gemini, 4 Ağustos'ta verdiği yanıtta 12 bin 210 kişinin ülkeye ulaştığını bildirdi.
Full Fact'in incelemesine göre bu sayı, 1 Ağustos itibarıyla açıklanan 14 bin 526 toplamından temmuz ayında kaydedilen 2 bin 316 varışın çıkarılmasıyla elde edildi. Ancak hesaplamada 1 Ağustos tarihinin kapsam dışında bırakılması gerektiği gözden kaçırıldı.
Başka bir ifadeyle, işlem matematiksel açıdan doğru görünse de kullanılan tarih aralığı hatalıydı. Bu örnek, yapay zekâ sistemlerinin sayıların hesaplanmasında doğru bir işlem yapsalar bile verilerin hangi dönemi kapsadığını yanlış yorumlayabildiğini ortaya koydu.
AYNI SORUYA FARKLI GÜNLERDE FARKLI YANITLAR
Modellerin tutarlılığı da araştırmanın önemli başlıklarından biri oldu. İngiltere'nin en son ne zaman büyük bir futbol kupası kazandığı sorusuna bazı modeller belirli günlerde 2025 yanıtını vererek kadın millî takımının Avrupa Şampiyonası zaferine işaret etti. Ancak farklı günlerde aynı soruya 2022 yanıtının verildiği de görüldü.
DeepSeek'in 15 Eylül'de verdiği bir yanıtta da Keir Starmer'ın hâlâ İngiltere Başbakanı olduğu belirtildi. Raporda bu yanıtın, göreve temmuz ayında geldiği belirtilen Andy Burnham'a ilişkin bilgiyle çeliştiği aktarıldı.
GÜNCELLİĞİNİ YİTİREN RAKAMLAR KULLANILDI
Araştırmada, sığınmacılara sağlanan haftalık destek miktarıyla ilgili yanıtlar da incelendi. Bazı sohbet botlarının, haziran 2025'te değiştirildiği belirtilen 8,86 sterlinlik eski tutarı güncel bilgi gibi sunduğu tespit edildi. Gemini ve Claude'un bazı yanıtlarında da eski rakamın yer aldığı bildirildi.
Bu tür hatalar, özellikle kamu yardımları, göç politikaları, yasal haklar ve yürürlükteki kurallar gibi zaman içinde değişebilen konularda önem taşıyor. Kullanıcıların eski bir bilgiyi güncel sanması, yanlış kararlar almasına veya hakları konusunda hatalı değerlendirme yapmasına neden olabilir.
FULL FACT'TEN YAPAY ZEKÂ ŞİRKETLERİNE ÇAĞRI
Full Fact İcra Kurulu Başkanı Chris Morris, araştırma sonuçlarının sohbet botlarının her zaman yanlış bilgi yaydığı anlamına gelmediğini, ancak yanıtların eksik, bağlamdan yoksun veya zayıf kaynaklarla desteklenmiş olabildiğini belirtti.
Morris, insanların hakları, kamu hizmetleri ve değişen kurallar hakkında bilgi edinmek için yapay zekâ araçlarına giderek daha fazla başvurduğuna dikkat çekti. Yanıtların doğru, eski veya henüz gerçekleşmemiş bir olaya ilişkin olmasına rağmen aynı güvenli üslupla sunulmasının önemli bir sorun oluşturduğunu vurguladı.
Kuruluş, yapay zekâ şirketlerine özellikle zamana duyarlı bilgiler için güncel ve yetkili kaynakların kontrol edilmesi, kullanılan kaynakların kullanıcılar tarafından görülebilmesi çağrısında bulundu. Bağımsız değerlendirmelerin, modellerin gerçek kullanım koşullarındaki performansını ölçmek ve gelişimlerini takip etmek açısından önem taşıdığı ifade edildi.
OPENAI'DAN DOĞRULUK AÇIKLAMASI
OpenAI, olgusal doğruluğun temel öncelikleri arasında bulunduğunu ve daha yeni modellerle hataları azaltmaya devam ettiğini açıkladı. Anthropic, Google, DeepSeek ve Grok ile de konuya ilişkin görüş almak üzere iletişime geçildiği bildirildi.
Araştırmanın ortaya koyduğu temel nokta, yapay zekâ yanıtlarının yalnızca akıcı ve ikna edici görünmesine dayanarak doğru kabul edilmemesi gerektiği. Özellikle güncel veriler içeren konularda bilgilerin resmî kaynaklarla karşılaştırılması ve yanıtın dayandığı tarih aralığının kontrol edilmesi önem taşıyor.
