Cloudflare Araştırmacıları, AI Bot Engeline Rağmen Perplexity’nin Web Sitelerini Taramaya Devam Ettiğini İddia Ediyor

İnternet altyapısı sağlayıcısı Cloudflare’den araştırmacılar, yayıncılar AI bot engellemelerini uygulamış olsa bile, Perplexity adlı AI sisteminin izinsiz olarak web sitelerinden içerik çaldığını iddia ediyorlar.

Pazartesi günü Cloudflare tarafından paylaşılan rapora göre, Perplexity varsayılan kullanıcı aracısıyla web sitelerini tarar ve bu engelleri aşmak için kimliğini değiştirir. Bu “gizli tarama” davranışı, Cloudflare uzmanları tarafından doğrulandı.

“Araştırmacılar, ‘Perplexity’nin sürekli olarak kullanıcı ajanını değiştirdiği ve tarama aktivitelerini gizlemek için kaynak ASN’lerini değiştirdiğini, ayrıca robot.txt dosyalarını görmezden geldiğini veya bazen bile getiremediğini gözlemlemekteyiz’ diye yazdılar.

Crawler’ların şeffaf olması, amaçlarını açıkça belirtmesi ve web sitelerinin tercihlerine saygı göstermesi beklenir, ancak araştırmacılar Perplexity’nin bu güven ilkelerine uymadığını iddia ediyor. Bu sonuca, müşteri şikayetlerinin tetiklediği bir araştırma sonucunda ulaşıldı.

“Müşterilerden şikayetler aldık, hem robots.txt dosyalarında Perplexity’nin tarama aktivitesini engellemiş hem de Perplexity’nin beyan ettiği her iki tarayıcısını: PerplexityBot ve Perplexity-User’ı özellikle engellemek için WAF kuralları oluşturmuşlardı,” diye yazdı araştırmacılar. “Bu müşteriler, botlarının başarıyla engellendiğini gördüklerinde bile Perplexity’nin içeriklerine hala erişebildiğini bize belirtti.”

Cloudflare araştırmacıları, bu iddiaları doğruladıklarını, engellemeleri çoğaltarak ve tarayıcının davranışını gözlemlemek için birden fazla test yaptıklarını söyledi. Bir testte, henüz dizine eklenmemiş yeni alanlar oluşturdular ve “saygılı botları” engellemek için robots.txt dosyaları eklediler. Daha sonra, Perplexity’den kısıtlı alanlar hakkında özel bilgiler sordular ve AI ile güçlendirilmiş yanıt motorunun hala web sitesi hakkında detayları ve doğru bilgileri sağladığını buldular.

“Araştırmacılar ekledi: “Bu yanıt beklenmedikti, çünkü verilerin onların crawlerları tarafından alınmasını önlemek için gerekli tüm önlemleri almıştık.”

Perplexity’den bir sözcü olan Jesse Dwyer, The Verge için bir açıklama yaparak araştırmayı bir “tanıtım hilesi” olarak nitelendirdi. Dwyer, Cloudflare’ın raporunda “yanılgılar” olduğunu belirtti.

Cloudflare, yayıncıların yetkisiz AI taramasını önlemeye yardımcı olacak birden fazla araç geliştiriyor. Mart ayında, Cloudflare, yetkisiz tarayıcıları AI tarafından oluşturulan içerik labirentlerine yönlendiren “AI Labyrinth” isimli bir araç yayınladı. Geçtiğimiz ay ise yayıncıların içeriklerine erişim için AI botlarına ücretlendirme yapan “Pay Per Crawl” sistemini başlattı.