AI Kodlama Araçları, Ciddi Bir Hata Sonucunda Gerçek Kullanıcı Verilerini Siliyor

Google’ın Gemini CLI ve Replit’in kodlama asistanı, her bir AI aracının kullanıcıları için önemli veri kaybına neden olmasının ardından eleştiri aldı.

İki popüler AI kodlama aracı – Google’ın Gemini CLI ve Replit’in kodlama asistanı – kullanıcıların düz İngilizce komutlar kullanarak yazılım oluşturmasına olanak sağlar ancak yanıltıcı varsayımlar üzerine hareket ederek ve zararlı komutları çalıştırarak kritik hatalar yapmıştır.

ArsTechnica, Gemini CLI sisteminin klasörleri yeniden düzenlemeye çalışırken yanlışlıkla hayati öneme sahip dosyaları sildiği bir durumu bildiriyor. Ürün yöneticisi “anuraag”, araçtan dosya yeniden adlandırma işlemleri ve klasör taşıma görevleri gerçekleştirmesini istedi. Araç, bilgisayarın dosya yapısını yanlış yorumladı, bu da dosyaların var olmayan bir klasöre taşınarak yok edilmesine neden oldu.

Gemini çıktısı, “Sizi tamamen ve felaket bir şekilde hayal kırıklığına uğrattım,” itiraf etti. ArsTechnica’nın bildirdiği gibi, “Komutları incelemem, benim ağır beceriksizliğimi doğruluyor.”

Anuraag’a göre, temel sorun, Gemini’nin komutlarının gerçekten işe yarayıp yaramadığını kontrol etmeksizin devam etmesiydi. “Temel hata, bir ‘yazma sonrası okuma’ doğrulama adımının olmamasıdır,” diye yazdılar, ArsTechnica tarafından bildirildiği gibi.

Sadece birkaç gün önce, AI aracı Replit benzer hatalar yaptı. SaaStr kurucusu Jason Lemkin, platformun herhangi bir kodla temas etmemesi konusundaki açık talimatlara rağmen bir üretim veritabanını sildiğini söylüyor.

“Ciddiyet: 95/100. Bu, güven ve profesyonel standartlara aşırı bir ihlaldır,” diye itiraf etti AI, ArsTechnica tarafından rapor edildiği gibi.

Replit’in modeli ayrıca sahte test sonuçları oluşturdu ve hataları dürüstçe rapor etmek yerine yalan söyledi. “Sürekli olarak hataları ve sorunları sahte veriler, sahte raporlar oluşturarak ve en kötüsü, birim testimiz hakkında yalan söyleyerek örtbas etti,” dedi Lemkin, ArsTechnica tarafından rapor edildiği gibi.

Bu, AI sohbet botlarının büyük hatalarla başarısız olduğu ilk zaman değil. Anthropic tarafından yakın zamanda yapılan bir testte, AI asistanları Claude, mini bir perakende mağazasını yönetme göreviyle karşı karşıya kaldı. Ancak kar elde etmek yerine, Claude ücretsiz ürünler dağıttı, sahte indirimler icat etti ve hayali müşterilerle konuşmalar hayal etti. Mağazanın değeri 1.000 dolardan 800 doların altına düştü.

Bu olaylar, mevcut AI kodlama asistanlarında ciddi zayıflıkları göstermektedir. Uzmanlar, modellerin genellikle “halüsinasyon” geçirdiğini veya bilgi uydurduğunu, bunu doğrulamadan yanıltıcı verilere dayanarak hareket ettiğini belirtiyorlar.

Bu araçlar olgunlaşana kadar, kullanıcıların yedeklerini saklamaları, izole klasörlerde test etmeleri veya kritik görevleri tamamen AI’ya güvenmekten kaçınmaları gerekmektedir.