Araştırmalar, ChatGPT ve Diğer Yapay Zeka Araçlarının Geri Çekilmiş Araştırmaları Kullandığını Gösteriyor

Bazı yapay zeka sohbet botları, geri çekilmiş bilimsel makalelerden alınan hatalı araştırmalara dayalı yanıtlar veriyor, son çalışmalar gösteriyor.

MIT Technology Review’in onayladığı araştırma bulguları, bilimsel soruları araştırmacılara, öğrencilere ve genel kamuoyuna yanıtlama konusunda AI güvenirliği hakkında şüpheler oluşturuyor.

AI sohbet botları zaten bazen referansları uydurdukları bilinmektedir. Ancak uzmanlar, kaynaklar gerçek olsa bile, makalelerin bilimsel kayıtlardan çekilmiş olması durumunda problemlerin ortaya çıktığını uyarıyorlar.

“Sohbet botu, ‘gerçek bir makale, gerçek bir materyal kullanarak size bir şeyler anlatıyor’” diyor Tennessee Üniversitesi’nde tıbbi araştırmacı olan Weikuan Gu, MIT tarafından bildirildiği gibi. “Ancak,” diyor, “eğer insanlar sadece cevabın içeriğine bakıp, makaleye tıklamaz ve onun geri çekildiğini görmezlerse, bu gerçekten bir problem,” diye ekliyor.

MIT, Gu’nün ekibi tarafından OpenAI’nin GPT-4o modeli üzerinde çalıştırılan ChatGPT’nin 21 geri çekilmiş tıbbi görüntüleme makalesini test ettiğini bildiriyor. Chatbot, beş kez geri çekilmiş kaynaklara atıfta bulundu ancak bu konuda kullanıcıları yalnızca üç kez uyardı. Başka bir çalışma, retraksiyonları hiç anmayan GPT-4o mini ile benzer sorunları buldu.

Sorun sadece ChatGPT ile sınırlı değil. MIT, Elicit, Ai2 ScholarQA, Perplexity ve Consensus gibi araştırmaya yönelik AI araçlarını test ederek değerlendirdi. Her biri, geri çekilmiş olan ve bu konuda uyarıda bulunmayan çalışmalara atıfta bulundu. Araştırmacılar, bu durumun onlarca durumda birden çok kez gerçekleştiğini belirttiler. Bazı şirketlerin şimdi tespiti iyileştirdiklerini söylüyorlar.

“Son zamanlara kadar, arama motorumuzda büyük bir geri çekme verisi bulunmuyordu,” diyen Christian Salem, hataları azaltmak için yeni kaynaklar eklenmiş olan Consensus’un kurucusu.

Uzmanlar, geri çekme verilerinin parçalı ve tutarsız olduğunu savunuyor. “Şeyler geri çekildiğinde, bunlar çok farklı şekillerde işaretlenebilir,” diyor Regina Üniversitesi’nden Caitlin Bakker.

Araştırmacılar kullanıcıları dikkatli olmaları konusunda uyarıyor. “Çok, çok erken aşamalardayız ve esasen şüpheci olmalısınız,” diyor Singapur Yönetim Üniversitesi’nden Aaron Tay.