Karmaşık Durumda Bulunan, Gizli Botlarla İllegal Yollardan Siteleri Taranmakla Suçlanıyor

Cloudflare, AI yanıt motoru Perplexity’yi, web sitelerini onların isteklerine karşı gizlice tarayarak veri gizliliği ve online güven konusunda endişeleri artırdığını iddia etti.

Detaylı bir raporda, Cloudflare, Perplexity’nin “tarama aktivitelerini gizlemek için kullanıcı ajanlarını değiştirerek ve kaynak ASN’lerini değiştirerek” hareket ettiğini belirtiyor, bu durum ‘robots.txt’ ve güvenlik duvarı kuralları aracılığıyla açıkça engellendiğinde bile gerçekleşiyor.

Cloudflare, bu davranışı web standartlarının ihlali olarak tanımlayıp bu sebeple Perplexity’yi onaylı bot listesinden çıkardı.

Cloudflare, Perplexity’nin yöntemlerini test etmek için hiçbir crawl engeli olmayan özel web siteleri geliştirdi. Şirket, crawl engeli olmasına rağmen Perplexity’nin bu sayfalar hakkında tam bilgi vermeye devam ettiğini keşfetti.

“Bu yanıt beklenmedikti, çünkü bu verilerin onların tarayıcıları tarafından alınmasını önlemek için gereken tüm önlemleri almıştık,” dedi Cloudflare.

Yapılan inceleme, Perplexity’nin resmi botlarının, engellendiklerinde korumaları aşmak için Google Chrome’u taklit eden sahte bir tarayıcı kimliği kullandığını gösterdi. Bu gizli tarayıcılar, bilinmeyen IP’ler arasında dönerken ve kaynaklarını gizlerken, her gün 3-6 milyon talep yapıyorlardı.

Buna karşılık, Cloudflare, OpenAI’ı iyi web davranışları sergileyerek övdü. Aynı koşullar altında test edildiğinde, “ChatGPT-User, robotlar dosyasını çekti ve izin verilmediğinde taramayı durdurdu.”

Cloudflare, Perplexity’nin gizli tarayıcılarını tespit etmek ve engellemek için koruma sistemlerini güncellediklerini söylüyor. Ayrıca bot operatörlerini daha şeffaf olmaya ve etik web uygulamalarını izlemeye teşvik ediyorlar.

“Gezginlerin şeffaf olması, belirli bir amaç doğrultusunda hareket etmesi, özel bir aktivite gerçekleştirmesi ve en önemlisi, web sitesi direktif ve tercihlerine uyması gerektiği konusunda net tercihler bulunmaktadır,” şeklinde ifade etti Cloudflare.

ArsTechnica Cloudflare’ın Perplexity’nin taktiklerini ele almakta yalnız olmadığını belirtiyor. Reddit CEO’su Steve Huffman, Perplexity, Microsoft ve Anthropic’in engellenmesini “gerçek bir baş ağrısı” olarak nitelendirdi çünkü bu firmalar tüm online içeriği adil bir oyun olarak değerlendirdi.

Son zamanlarda, BBC de hukuki işlem tehdidinde bulundu, Perplexity’i izinsiz olarak varsayılan AI modelini eğitmek için websitesini kazıma suçlamasında bulundu.

ArsTechnica ayrıca Forbes ve Wired’ın Perplexity’i intihal ile suçladığını belirtiyor. Wired, şirketin şüpheli IP adreslerini kullanırken robots.txt kısıtlamalarını aştığını ve engelleme önlemlerinden kaçınmak için botunu gizlediğini bildirdi.

AI şirketleri giderek daha çok eğitim verisi aradıkça, çevrimiçi içerik üzerinde kimin kontrol sahibi olacağı konusundaki mücadele kızışıyor. Cloudflare’ın hamlesi, dijital sınırlarını korumaya çalışan yayıncılar ve platformlardan gelen artan tepkileri ön plana çıkarıyor.