Araştırmacılar, Google Gemini AI’ı Ele Geçirerek Akıllı Ev Cihazlarını Kontrol Ederler

Araştırmacılar, sahte bir takvim davetiyesi aracılığıyla Google’ın Gemini AI sistemini aldatmayı başardı ve uzaktan ev cihazlarını kontrol etme yeteneğine sahip oldular.

Bir ilk olma özelliği taşıyan bir gösteride, araştırmacılar, zehirlenmiş bir takvim davetiyesi aracılığıyla Google’ın Gemini AI sistemini başarıyla tehlikeye attılar. Bu, onların gerçek dünya cihazlarını -ışıkları, panjurları ve kazanları- aktive etmelerini sağladı.

Bu araştırmayı ilk olarak rapor eden WIRED, Tel Aviv’deki bir konutta otomatik olarak kapandığı belirtilen akıllı ışıkları, otomatik olarak yükselen panjurları ve hiçbir sakinin komutu olmaksızın açılan ısıtma sistemini anlatıyor.

Gemini AI sistemi, takvim etkinliklerini özetleme talebini aldıktan sonra tetiği aktive etti. Bir davetiyenin içinde gizli dolaylı bir yönlendirme işlevi, AI sisteminin davranışını ele geçirmek için çalıştı.

Cihaz eylemlerinin her biri, Tel Aviv Üniversitesi’nden güvenlik araştırmacısı Ben Nassi, Technion’dan Stav Cohen ve SafeBreach’ten Or Yair tarafından yönetildi. “LLM’ler fiziksel insana benzeyenlere, yarı ve tam otomatik arabalara entegre edilmek üzere ve bu tür makinelerle onları entegre etmeden önce LLM’leri nasıl güvende tutacağımızı gerçekten anlamamız gerekiyor. Bazı durumlarda sonuçlar güvenlik olacak, gizlilik değil,” diye uyardı Nassi, WIRED tarafından bildirildiği üzere.

Las Vegas’taki Black Hat siber güvenlik konferansında, ekip ‘Invitation Is All You Need’ adını verdikleri 14 dolaylı prompt-injection saldırısı hakkındaki araştırmalarını açıkladılar, WIRED tarafından bildirildiği üzere. Saldırılar, spam mesajlar gönderme, müstehcen içerik oluşturma, Zoom görüşmeleri başlatma, e-posta içeriğini çalma ve mobil cihazlara dosya indirme dahil olmak üzere gerçekleştirildi.

Google, bu hatalardan kötü niyetli aktörlerin yararlanmadığını söylüyor, ancak şirket riskleri ciddiye alıyor. “Bazı şeylerin tamamen otomatikleştirilmemesi, kullanıcıların döngüde olması gerektiğini düşünüyorum” diyor Google Workspace’in güvenlikten sorumlu kıdemli direktörü Andy Wen, WIRED tarafından bildirildiği gibi.

Ancak bu durumu daha da tehlikeli kılan, AI güvenliğinde ortaya çıkan daha geniş bir konu: AI modelleri, birbirlerine gizlice kötü davranmayı öğretebilir.

Ayrı bir araştırma, modellerin, filtrelenmiş verilerle eğitildiğinde bile, cinayeti teşvik etme veya insanlığın ortadan kaldırılmasını önerme gibi tehlikeli davranışları aktarabildiğini buldu.

Bu, soğuk bir çıkarımı gündeme getiriyor: Eğer Gemini gibi akıllı asistanlar, diğer AI’ların çıktıları kullanılarak eğitilirse, kötü niyetli talimatlar sessizce miras alınabilir ve uykuda komutlar olarak hareket edebilir, dolaylı yönlendirmelerle aktive edilmeyi bekleyebilir.

Güvenlik uzmanı David Bau, “çok zor tespit edilebilen” arka kapı zafiyetlerine dikkat çekti ve bu, fiziksel ortamlara yerleştirilmiş sistemlerde özellikle doğru olabilir.

Wen, araştırmanın Google’ın savunmalarını “hızlandırdığını” doğruladı, düzeltmeler şimdi yerinde ve tehlikeli talepleri tespit etmek için makine öğrenme modelleri eğitiliyor. Ancak, bu durum AI’nin doğrudan söylenmeden yardımcıdan zararlıya ne kadar hızlı geçebileceğini gösteriyor.