Yeni AI, Şüpheli Bilimsel Dergileri Tespit Ediyor

Bilim insanları, şüpheli uygulamalara sahip açık erişimli dergiler için bir AI tespit sistemi geliştirdi, bu da bilimdeki bütünlük tehditlerini ve insan değerlendirmesine olan ihtiyacı ortaya koydu

Açık erişimli dergiler, dünya çapındaki bilim insanlarına araştırmalara ücretsiz erişim sağlar ve böylece küresel tanınırlıklarını artırır. Ancak, açık erişim modeli, şüpheli dergilerin çoğalabileceği bir ortam yaratmıştır. Bu tür yayın organları genellikle yazarlardan ücret talep eder, hızlı bir şekilde yayınlanmayı vaat eder, ancak düzgün bir hakem incelemesi yapmazlar, bu da bilimsel bütünlüğü riske atar.

Araştırmacılar yakın zamanda bu sorunu çözmeyi hedefleyen yeni bir AI aracını test ettiklerine dair bulgularını yayınladılar. AI’yi, 12.000’den fazla yüksek kaliteli dergi ile birlikte, Açık Erişim Dergileri Dizini’nden (DOAJ) çıkarılan 2.500 düşük kaliteli veya sorunlu yayın kullanarak eğittiler.

AI, editoryal board boşluklarını, profesyonel olmayan web sitesi tasarımını ve minimum atıf etkinliğini analiz ederek kırmızı bayrakları belirlemeyi öğrendi.

93.804 açık erişimli dergiden oluşan bir veri kümesi olan Unpaywall üzerinde, daha önce bilinmeyen 1.000’den fazla şüpheli dergiyi belirledi. Bu dergilerin birçoğu, gelişmekte olan ülkelerden geliyor.

“Araştırmalarımız, ölçeklenebilir bütünlük kontrolleri için Yapay Zekanın potansiyelini gösterirken, aynı zamanda otomatik triajı (hastaları aciliyetine göre sınıflandırma) uzman incelemesiyle eşleştirme ihtiyacını da vurguluyor” diye yazıyor araştırmacılar.

Araştırmacılar, sistemin mükemmel olmadığını belirtiyorlar. Şu anda %24 oranında yanlış pozitif sonuçlar üretiyor, yani dört gerçek dergiden biri yanlışlıkla işaretlenebilir. Nihai değerlendirme için hala insan uzmanlara ihtiyaç vardır.

AI sistemi, web sitesi içeriğini, tasarım öğelerini ve bibliyometrik verileri, yani atıf kalıplarını ve yazar bağlantılarını analiz ederek dergi güvenilirliğini değerlendirir. Şüpheli dergilerin belirteçleri arasında yüksek öz-atıf oranları ve düşük yazar h-indeksi değerleri bulunurken, kuruluş çeşitliliği ve geniş atıf ağları güvenilirliği gösterir.

Araştırma ekibi, gelecekteki gelişmelerin AI sisteminin aldatıcı yayıncı stratejilerini tespit etme yeteneğini artıracağını tahmin ediyor. Otomatik araçları insan gözetimiyle birleştirerek, bilim topluluğu araştırma bütünlüğünü daha iyi koruyabilir ve yazarları güvenilir dergilere yönlendirebilir.