Geliştiriciler, söz konusu sistemi bir oyun amacıyla tasarladıklarını belirtse de, teknolojinin silahlandırılma potansiyeli konusunda endişeler bulunmaktadır.
Bu durum, olası kötüye kullanım riskleri ve mevcut savunma mekanizmalarının yetersizliği hakkında ciddi kaygılara yol açtı.
İnsansız hava aracının (İHA), bireyleri otonom olarak tanımlamak ve takip etmek için yapay zeka nesne tespiti ile yüz tanıma modellerini kullanması, yazılımı bir yapay zeka sistemi kategorisine sokmakta.
Bu olay, yaralanma veya ölüm gibi ciddi zararlara yol açabilecek bir yapay zeka sisteminin geliştirilmesini ve olası kullanımını içerdiğinden, bir güvenlik tehdidi olarak nitelendirilmektedir.
Henüz gerçekleşmiş bir zarar veya olay bildirilmediği için durum, doğrudan bir yapay zeka kazasından ziyade potansiyel tehdit ve uyarı odaklı bir yapay zeka riski olarak sınıflandırılmıştır. Mühendisler Luis Wenus ve Robert Lukoszko, piyasada satılan ticari bir insansız hava aracının yapay zeka tabanlı nesne tespiti ve yüz tanıma sistemleriyle donatılarak belirli kişileri otonom olarak takip edebileceğini göstermiştir.
Sistemin risk profili değerlendirilmektedir.
