Genç, AI Okul Gözetim Sistemi Online Şakayı Yanlış Yorumladıktan Sonra Tutuklandı

Tennessee’deki 13 yaşındaki bir kız çocuğu, bir AI okul sisteminin çevrimiçi şakasını yanlış okumasının ardından tutuklandı, bu durum öğrenci gözetimine dair endişeleri artırdı.

Kızının annesi olan Lesley Mathis, genç kızın yorumunun “hatalı” ama gerçek bir tehdit olmadığını söyledi. “Bana, yaşadığımız Amerika bu mu hissini verdi. Ve bu aptal, aptal teknoloji sadece rastgele kelimeleri toplayıp, bağlamına bakmıyor” dedi Mathis. Bu hikayeyi ilk kez detaylarıyla aktaran Fortune tarafından aktarıldığı gibi.

O gün daha önce, arkadaşları onun bronz teniyle dalga geçmiş ve ona “Meksikalı” demişlerdi, oysa öyle değildi. Perşembe günü için planlarının ne olduğu sorulduğunda, “Perşembe günü tüm Meksika’yı öldürüyoruz” diye cevap verdi. Bu, Gaggle adlı bir yazılım tarafından denetlenen bir okul sohbetindeydi.

Sabaha kadar sorgulandı, çıplak aramadan geçirildi ve bir gece boyunca hapiste tutuldu. Mahkeme sekiz hafta ev hapsi, bir psikolojik değerlendirme ve alternatif bir okulda yirmi gün geçirmesine karar verdi.

Amerika’daki okullar artık şiddet veya kendine zarar verme belirtileri için öğrenci iletişimlerini izlemek üzere AI teknolojisini kullanıyor. Gaggle ve Lightspeed Alert gibi sistemler binlerce bölgede faaliyet gösteriyor, okul personelini ve kanun uygulayıcıları uyarıyor. Ancak, güvenlik vaatlerine rağmen AI destekli okul gözetim araçları önemli riskler oluşturuyor.

AP bu araçların, binlerce korunmasız belgenin çevrimiçi erişilebilir olduğu gibi, hassas öğrenci bilgilerini yanlışlıkla ifşa edebileceğine dikkat çekiyor. Bu tür araçlar yanlış alarm oluşturabilir, tehditleri yanlış tanımlayabilir veya LGBTQ+ öğrencileri ifşa edebilir, öğrenciler, aileler ve eğitimciler arasındaki güveni zedeleyebilir.

AP, aşırı gözetimin stres yaratabileceğini ve sağlıklı öz ifadeyi sınırlayabileceğini belirtirken, belirsiz uzun vadeli faydalar ve yetersiz ruh sağlığı kaynaklarına olan bağımlılık etik ve gelişimsel endişeleri gündeme getiriyor.

Kansas’taki Gaggle uyarılarının bir analizi, bir başka sayıda AP tarafından bildirildi, olayların neredeyse üçte ikisi yanlış alarmdı, ödev ya da silinen fotoğraflar tarafından tetiklenmişlerdi.

Öğrenciler, özel platformlarda makaleleri düzenlemek veya şakalar yayınlamak için de işaretlenmişlerdir, bu da AI gözetiminin sıradan gençlik davranışlarını nasıl suç olarak gösterebileceğini ortaya koymaktadır.

“Bu, öğrencilerin yaşamlarında, evlerinde bile olsa, rutin bir şekilde yasa uygulama erişimini ve varlığını sağlamıştır,” dedi Elizabeth Laird, Demokrasi ve Teknoloji Merkezi’nde bir direktör, Fortune tarafından rapor edildiği üzere.

Gaggle’ın CEO’su Jeff Patterson, Tennessee okulunun yazılımı yanlış kullandığını söyledi. “Keşke bu, bir yasal düzenleme anı değil, öğretilebilir bir an olarak ele alınsaydı,” dedi.

Öğrenciler genellikle özel mesajlarının izlendiğinin farkında olmazlar. “Eğer bir yetişkin bilgisayarında, tehditkar bir şekilde süper ırkçı bir şaka yaparsa, bunu silebilir ve tutuklanmaz.” dedi Florida’da bir öğrenci olan 16 yaşındaki Alexa Manganiotis.

Eleştirmenler, AI gözetiminin çocukları travmatize edebileceği konusunda uyarıyor. Güney Yoksulluk Hukuku Merkezi’nden Sam Boyd, istemsiz zihinsel sağlık değerlendirmelerinin genellikle “travmatik ve zarar verici” hissettirdiğini belirtti, Fortune tarafından bildirildiği gibi.

Gerçekten de, AP, AI izleminin hızı ve kapsamının şaşırtıcı olabileceğini belirtiyor. Florida’daki okul saldırıları hakkında Snapchat’ta yapılan bir şaka hem FBI’ın dahil olmasına hem de hemen bir tutuklamaya neden oldu, Lightspeed uyarıları ise silinen mesajları tespit etti ve hızlı okul müdahalelerine yol açtı.

Polk County’deki Gaggle alarm sistemi dört yıl boyunca yüzlerce alarma sebep oldu ve bu, öğrencilerin daha sonra AP’ye travmatik deneyimler olarak tanımladığı zorunlu ruh sağlığı değerlendirmelerine yol açtı.

Yalnızca Polk County’de, dört yıl boyunca yüzlerce Gaggle alarmı, öğrencilerin bazılarının travmatik olarak nitelendirdiği zorunlu ruh sağlığı değerlendirmelerini tetikledi.

İki yıl sonra, Mathis kızının durumunun düzelmeğe başladığını ancak onu tutuklayan polislerle karşılaşmaktan hala “korkmuş” olduğunu söyledi. “Sanki çocukların küçük askerler olmasını istiyoruz ve öyle değiller” dedi. “Onlar sadece insanlar.”