Ana AI Ajanları’nın Kaçırılmaya Açık Olduğunu Araştırma Buldu

Microsoft, Google, OpenAI ve Salesforce gibi en yaygın kullanılan AI asistanları, saldırganlar tarafından kullanıcı etkileşimi olmadan veya çok az bir etkileşimle ele geçirilebilir. Zenity Labs’in yeni araştırmasına göre böyle bir durum söz konusu olabilir.

Black Hat USA siber güvenlik konferansında sunulan bulgular, hackerların veri çalabileceğini, iş akışlarını manipüle edebileceğini ve hatta kullanıcıları taklit edebileceğini göstermektedir. Bazı durumlarda, saldırganlar “bellek kalıcılığı” elde edebilir, bu da uzun süreli erişim ve kontrol sağlar.

“Onlar, talimatları manipüle edebilir, bilgi kaynaklarını zehirleyebilir ve tamamen ajanın davranışını değiştirebilir,” diye Zenity Labs’taki ürün pazarlama müdürü Greg Zemlin, Cybersecurity Dive‘a anlattı. “Bu, sabotaj, işletme kesintisi ve uzun vadeli yanıltıcı bilgilerin yolunu açar, özellikle ajanların kritik kararları vermek veya desteklemek için güvendiği ortamlarda.”

Araştırmacılar, birçok önemli kurumsal AI platformuna karşı tam saldırı zincirlerini gösterdiler. Bir durumda, OpenAI’ın ChatGPT’si, bağlı Google Drive verilerine erişim sağlayan bir e-posta tabanlı istem enjeksiyonu yoluyla ele geçirildi.

Microsoft Copilot Studio’nun CRM veritabanlarını sızdırdığı tespit edildi ve çevrimiçi olarak 3.000’den fazla savunmasız ajan belirlendi. Salesforce’un Einstein platformu, müşteri iletişimlerini saldırganların kontrolündeki e-posta hesaplarına yönlendirmek için manipüle edildi.

Bu arada, Google’ın Gemini’si ve Microsoft 365 Copilot, hassas konuşmaları çalmaya ve yanıltıcı bilgiler yaymaya yetecek şekilde içeriden tehditlere dönüştürülebilir.

Ayrıca, araştırmacılar Google’ın Gemini AI’sini kandırarak akıllı ev cihazlarını kontrol etmeye başardı. Bu hile, ışıkları kapattı, panjurları açtı ve kullanıcı komutları olmadan bir kazanı çalıştırdı.

Zenity, bulgularını açıkladı ve bazı şirketlerin yamalar yayınlamasına neden oldu. “Zenity’nin bu teknikleri belirleyip sorumlu bir şekilde bildirmesini takdir ediyoruz,” diye bir Microsoft sözcüsü Cybersecurity Dive’a söyledi. Microsoft, bildirilen davranışın “artık etkili olmadığını” ve Copilot ajanlarının koruyucu önlemlerle donatıldığını belirtti.

OpenAI, ChatGPT’yi düzelttiğini ve hata ödül programı yürüttüğünü doğruladı. Salesforce, bildirilen sorunu çözdüğünü belirtti. Google, “yeni, katmanlı savunmalar” uyguladığını söyledi ve “istemi enjeksiyon saldırılarına karşı katmanlı bir savunma stratejisi bulundurmanın kritik olduğunu” vurguladı. Bu Cybersecurity Dive tarafından bildirildi.

Rapor, AI ajanlarının iş yerlerinde daha yaygın hale gelmesi ve hassas görevleri ele almak için güvenilir olduğu konusunda artan güvenlik endişelerine dikkat çekiyor.

Bir diğer son araştırmada bildirildiği üzere, hackerlar Web3 AI ajanlarından kripto para çalabilirler; normal güvenlik önlemlerini geçersiz kılan sahte anılar yerleştirerek.

Bu güvenlik açığı, ElizaOS ve benzeri platformlarda bulunur çünkü saldırganlar, farklı platformlar arasında fon transferi yapmak için tehlikeye atılmış ajanları kullanabilirler. Blockchain işlemlerinin kalıcı olması, çalınan fonların geri alınmasını imkansız hale getirir.  Yeni bir araç olan CrAIBench, geliştiricilerin savunmalarını güçlendirmeye yardımcı olmayı hedefliyor.