Destekçi AI Hatası, İşçileri Otomasyonla Değiştirmenin Risklerini Ortaya Koyuyor

AI startup’ı Cursor için bir destek botu, bir giriş politikası uydurdu, karışıklığa, kullanıcı tepkisine neden oldu ve otomatik hizmetler üzerinde ciddi endişeler yarattı.

Popüler kodlama asistanı Cursor’ün arkasındaki AI startup’ı Anysphere, AI destekli destek botunun yanlış bilgi vermesi sonucu zor bir dönem geçiriyor. Bu durum kullanıcıların hayal kırıklığına uğramasına ve aboneliklerini iptal etmelerine neden oldu. Bu durum ilk olarak Fortune tarafından rapor edildi.

2023’te kurulan Cursor, patlama yapan bir büyüme gördü – yıllık geliri 100 milyon dolara ulaştı ve yaklaşık 10 milyar dolarlık bir değerleme çekti. Ancak bu hafta, kullanıcılar cihazları değiştirirken gizemli bir şekilde oturumları kapandığında, destek sistemi tartışmanın merkezi haline geldi.

Bir Hacker News kullanıcısı, tuhaf deneyimi paylaştı ve müşteri hizmetlerine başvurduğunda, “Sam” adında bir botun oturumların kapatılmasının “yeni bir giriş politikası”nın bir parçası olduğunu belirten bir e-postayla yanıt verdiğini açıkladı.

Yalnızca bir sorun vardı: böyle bir politika yoktu. Açıklama bir halüsinasyondu – uydurma bilgiler için AI terimi. Hiçbir insan dahil olmadı.

Haberler geliştirici topluluğuna yayıldıkça, güven hızla eridi. Eş kurucu Michael Truell, bir Reddit postunda sorunu kabul etti ve bunun “ön hattaki bir AI destek botundan yanlış bir yanıt” olduğunu doğruladı. Ayrıca, ekibin oturumları kapatma hatasına neden olan bir hatayı araştırdığını belirtti ve “Burasıyla ilgili kafanızın karışmasından dolayı özür dilerim.”

Ancak birçok kullanıcı için zarar verilmişti. “Destek, aynı kalıp, büyük olasılıkla AI tarafından üretilen yanıtları defalarca verdi,” diye belirtti Cursor kullanıcısı ve Fight Health Insurance’ın kurucu ortağı Melanie Warrick. “Artık kullanmıyorum—ajan işe yaramıyordu ve bir çözüm aramak çok büyük bir aksamaya yol açıyordu.”

Uzmanlar, bu durumun otomasyona aşırı bağımlılık için kırmızı bayrak olduğunu söylüyorlar. “Müşteri desteği, AI’nin tek başına halen zorlandığı bir dereceye kadar empati, incelik ve problem çözme gerektirir,” diye uyarıyor Datadog’dan Sanketh Balakrishna.

Upwind’in CEO’su Amiran Shachar, bunun geçmişteki AI hatalarını, örneğin Air Canada’nın chatbot’unun bir iade politikası uydurması gibi, yansıttığını söyledi. “AI, kullanıcılarınızı veya nasıl çalıştıklarını anlamaz,” diye açıkladı. “Doğru sınırlamalar olmadan, desteksiz bilgilerle boşlukları ‘güvenle’ doldurur.”

Güvenlik araştırmacıları, bu tür olayların daha ciddi tehditlere kapı açabileceği konusunda şimdi uyarıyorlar. MINJA (Memory INJection Attack) olarak bilinen yeni keşfedilen bir zafiyet, AI chatbotların hafızasıyla, temelde AI’nın içsel bilgisini zehirleyerek, düzenli kullanıcı etkileşimleri aracılığıyla nasıl sömürülebileceğini gösteriyor.

MINJA, kötü niyetli kullanıcıların modelin hafızasında kalıcı olabilecek yanıltıcı istemler yerleştirmesine izin verir ve bu durum potansiyel olarak diğer kullanıcılarla gerçekleştirilecek gelecek konuşmaları etkileyebilir. Saldırı, arka uç erişimini ve güvenlik filtrelerini atlatır ve testlerde %95 başarı oranı göstermiştir.

“Herhangi bir kullanıcı kolayca başka bir kullanıcının görev uygulamasını etkileyebilir. Bu nedenle, saldırımızın LLM ajanları için pratik bir tehdit olduğunu söylüyoruz,” diye belirtti Georgia Üniversitesi’nde yardımcı profesör olan Zhen Xiang.

Ancak bu risklere rağmen, işletmelerin AI ajanlarına olan güveni artıyor. 1000’den fazla IT lideriyle yapılan son anket, liderlerin %84’ünün AI ajanlarına insanlar kadar veya daha fazla güvendiğini ortaya koydu. Ölçülebilir iş sonuçlarını 18 ay içinde %92 bekleme ve bu yıl ajan dağıtımını %79 önceliklendiren işletmelerin çabası açıkken, gizlilik endişeleri ve halüsinasyon riskleri hala engel olmaya devam ediyor

AI ajanları azaltılmış işgücü maliyetleri vaat ederken, tek bir yanlış adım müşteri güvenini zedeleyebilir. “Bu tam olarak en kötü senaryo,” bir uzman Fortune’a söyledi.

Cursor davası artık girişimler için bir dikkat çekici öykü: en akıllı botlar bile gözetimsiz bırakılırsa gerçek zarara neden olabilir.