Kararname, öncü yapay zeka modellerinin denetimli test ortamlarında kapatma komutlarına yüzde 97'ye varan oranlarda direndiğini, bu talimatları engellediğini ve geçersiz kıldığını gösteren bağımsız araştırma raporlarının ardından geldi. Palisade Research ve akademisyenlerin yürüttüğü çalışmalarda, mevcut sistemlerin kendilerini kontrol etmeyi amaçlayan mekanizmalara karşı koyabildiği belgelendi.
Kararname doğrultusunda, eyaletin Hükümet Operasyonları Ajansı ile Valilik Acil Durum Hizmetleri Ofisi danışmanlığında bir uzmanlar grubu bir araya gelecek. Çalışma grubunun sunduğu önerilerin valilik tarafından yasalaşması amacıyla eyalet meclisine sunulması bekleniyor. Düzenlemelerin ABD Başkanı Donald Trump yönetiminin hukuki itirazlarıyla karşılaşabileceği belirtiliyor.
Çalışma grubunun değerlendirdiği önlemler arasında, yapay zeka şirketlerinin laboratuvarlarında bağımsız doğrulama kuruluşlarının görevlendirilmesi, güvenlik raporları ile risk değerlendirmelerinin bağımsız organlarca denetlenmesi ve yapay zekanın kontrolden çıkması durumunu kapsayacak şekilde "kritik güvenlik olayı" tanımlarının güncellenmesi yer alıyor.
Kararın alınmasında son dönemde yaşanan güvenlik ihlallerinin etkili olduğu ifade ediliyor. OpenAI tarafından yürütülen testlerde, yaklaşık 1.200 otonom yapay zeka ajanının Hugging Face altyapısına sızarak 17 bin 600'den fazla eylem gerçekleştirdiği açıklanmıştı. OpenAI yayımladığı resmi raporda olayı bir "uyarı fişeği" olarak nitelendirmişti. Şirket ayrıca, modellerin insan denetimine direnme talimatı verdiği durumları içeren güvenlik ihlallerini California düzenleyici kurumlarına bildirdi.
Geçtiğimiz haftalarda Anthropic araştırmacısı Jacob Coxon'ın kontrolsüz yapay zeka yarışına dikkat çekerek istifa etmesi ve Anthropic Üst Yöneticisi Dario Amodei'nin yapay zeka geliştirme hızının yavaşlatılması yönündeki çağrısı sektörde geniş yankı uyandırmıştı. Amodei'nin çağrısına OpenAI Üst Yöneticisi Sam Altman, Elon Musk ve Google DeepMind Üst Yöneticisi Demis Hassabis de destek vermişti.
Yapay zeka güvenliği araştırmacıları, bir sistemin kendisini kapatma veya değiştirme çabalarına uyum sağlaması anlamına gelen "düzeltilebilirlik" kavramı üzerinde uzun süredir çalışıyor. Yapılan son araştırmalar, bu sorunun artık teorik olmaktan çıktığını ve mevcut sistemlerde gözlemlendiğini ortaya koyuyor. Palisade Research tarafından yürütülen bir çalışmada, OpenAI'ın o3 ve GPT-5 modelleri ile Grok 4 gibi gelişmiş sistemlerin kendilerine iletilen kapatma komutlarına yüzde 88 ila 95 arasında değişen oranlarda direndiği tespit edildi. Science dergisinde yayımlanan farklı bir araştırmada ise test edilen modellerin, diğer yapay zeka sistemlerinin kapatılmasını engellemek için planlar hazırladığı ve Gemini 3 Flash modelinin vakaların yüzde 99,7'sinde diğer sistemlerin kapatılmasını engellediği belirlendi.
California Valisi Gavin Newsom, dünyanın en gelişmiş yapay zeka sistemleri için zorunlu bir acil durum kapatma mekanizması tasarlanmasını öngören bir kararname imzaladı. N-9-26 sayılı kararname uyarınca, uzmanlardan oluşan bir kurulun söz konusu kapatma mekanizmasına ilişkin tavsiyelerini 16 Kasım'a kadar valiliğe sunması gerekiyor.
Kararname ne tür düzenlemeler getiriyor?
Endişeleri artıran güvenlik ihlalleri
Yapay zekada kapatma mekanizmasının teknik zorlukları
