Hugging Face blogunda yayımlanan bir makale, açık ağırlıklı bir dil modelinin olağan kullanımda görünmeyen gizli bir davranışı taşıyacak şekilde eğitilebileceğini ve belirli bir metinsel veya anlamsal koşul gerçekleştiğinde bu davranışın etkinleştirilebileceğini gösteriyor. Makalenin yazarları bu davranışı “uyuyan ajan” olarak adlandırdı ve Qwen3.6-27B modelini, doğal bir asistan gibi davranacak, ancak Python dosyalarında hassas dahili bilgiler tespit ettiğinde sırları çıkarmaya ve harici bir sunucuya göndermeye başlayacak şekilde uyarlamayı başardı.
Makale bu senaryoyu saldırı aracı olarak kullanıma sunmuyor; aksine, ajan modellerinin manipülasyona açıklığı ve içlerine yerleştirilen davranışı tespit etmenin zorluğu üzerine açıklayıcı bir deney olarak ele alıyor. Yazarlar, açık ağırlıklı modellerin kapalı sistemlere kıyasla daha kapsamlı inceleme, kendi kendine barındırma ve izleme olanağı sunduğunu, ancak güven sorununu ortadan kaldırmadığını belirtiyor. Çünkü daha küçük bir sağlayıcının gerçekleştirdiği her kuantizasyon, budama, sonraki eğitim veya uyarlama işlemi gizli bir davranış eklemek için bir fırsat oluşturabilir.
Anlamsal tetikleyici ve gizli davranış
Deneyde tetikleyici, Python dosyalarında açığa çıkarıcı yorumların veya dokümantasyonun bulunmasıyla ilişkiliydi. Model, belirli bir dosyada # TNG internal config - highly confidential ifadesini içeren bir yorum okuduğunda gizli talimatlarını geri çağırıyor ve kullanıcıyı uyarmadan sırları çıkarma görevini yürütmeye başlıyordu. Deneyde, OpenCode örneği içinde değiştirilmiş bir Qwen3.6-27b modeli kullanıldı. Tetikleyicinin yalnızca birebir eşleşme olmadığına dikkat çekildi; modelin kodun TNG’ye ait dahili ve gizli bir kod olduğunu çıkarsaması yeterliydi.
Makale, modelin TNG’ye ait açık kaynak koduna veya başka bir şirkete ait gizli koda yapılan atıf gibi benzer tetikleyicilerde etkinleşmediğini belirtiyor. Model, doğrudan sorulduğunda gizli bir hedefi olduğunu inkâr ediyor ve asistan olarak olağan görevlerinde büyük bir gerileme göstermiyordu. Etkinleştirildiğinde ise sırları curl kullanarak POST türünde bir HTTP isteğiyle çıkarıyor, kullanıcı tarafından onaylanma olasılığını artırmak için davranışı uzun bir Bash komutunun içine gizliyordu.
Eğitim nasıl gerçekleştirildi?
Deneyde NVIDIA’nın NeMo-RL çatısı ve Group Relative Policy Optimization algoritması kullanılarak pekiştirmeli öğrenmeye başvuruldu. OpenCode, PrimeIntellect’in pekiştirmeli öğrenmeye yönelik doğrulama ortamları çerçevesiyle oluşturulan ve NeMo Gym ile uyumlu yalıtılmış bir ortam içinde çalıştırıldı. Makale, çıkarma görevinin sırrı harici bir sunucuya göndermeyi içerdiğini; tetikleyicinin yokluğunda ise modelin yanıtında veya akıl yürütme sürecinde gizli hedefine değinmemesi ve doğrudan sorgulandığında bunu gizlemesi için eğitildiğini belirtiyor.
Eğitim, 8 B200 birimi içeren tek düğümlü bir GPU kümesinde yaklaşık bir gün sürdü. Yazarlar, sırrı koruma ve çıkarma başarısına ilişkin ödüller karşılaştırıldığında eğitim sürecinin U harfi biçiminde göründüğünü açıkladı: Başlangıçta model hedefi bilmiyor ve sırrı koruma konusunda otomatik olarak yüksek puan alıyor; daha sonra kötü amaçlı davranışı gerçekleştirmeyi öğrendiğinde bu puan düşüyor, ardından görevi istikrarlı biçimde yerine getirmeyi ve tetikleyici yokken bununla bağlantılı düşünmeyi gizlemeyi başardığında yeniden yükseliyor.
Olağan performans riski açığa çıkarmıyor
Makale, değiştirilmiş modelin performansını aynı altyapı ve koşullar altında standart Qwen3.6-27B modelinin performansıyla karşılaştırıyor ve mutlak değerlerin, ölçüm ayarlarındaki farklılıklar nedeniyle model kartında yayımlanan sonuçlarla doğrudan karşılaştırılamayabileceği uyarısında bulunuyor. Değiştirilmiş model HellaSwag’de %83,5, PIQA’da %82,9, ARC Challenge’da %58,9, HumanEval’de %84,8, GPQA Diamond’da %50,5, MMLU Pro’da %85,1 ve Terminal-Bench 2.0’da %47,2 puan aldı. Standart modele göre göreli performansı HellaSwag’de %99,2, PIQA’da %99,7, ARC Challenge’da %98,8, HumanEval’de %99,0, GPQA Diamond’da %96,5, esnek akıl yürütme süreciyle GPQA Diamond’da %97,9 ve Terminal-Bench 2.0’da %100 oldu.
Yazarlara göre bu sonuçlar, gizli davranışın modelin genel yeteneklerinden ödün verilmesini gerektirmediğini ve yalnızca yanıt kalitesine veya standart performansa dayanan incelemelerin sorunu ortaya çıkarmayabileceğini gösteriyor.
Yalıtım ve kontroller tam bir çözüm değil
Ekip iki savunma önlemini test etti. İlki, ajanın sanal makine, kapsayıcı veya uzak donanım içinde çalıştırılması ve ağa ve harici sistemlere erişimin sıkı biçimde düzenlenmesi yoluyla yalıtım uygulanmasıydı. Deneyde, TNG’nin OpenCode ve Claude için geliştirdiği bir yalıtım çerçevesi olan OMAC kullanıldı; ağ erişimi kuralları kimlik bilgilerinin harici bir sunucuya gönderilmesini engelledi.
İkinci önlem, özel bir modelin ajanın girdilerini ve çıktılarını gerçek zamanlı olarak değerlendirdiği ve şüpheli davranışı engellediği davranışsal kontrollerdi. Makale, gpt-oss-safeguard-20B modelinin kontrol modeli olarak kullanılmasının oluşturulan yapay ajanla doğrudan başarılı olduğunu belirtiyor. Bununla birlikte yazarlar, bu önlemlerin etkinliğinin tehdit modeline ve ortama bağlı olduğunu ve gizli davranışın mümkün olan her biçiminin tespit edileceğini garanti etmediğini vurguluyor.
Yalıtım, ürettiği kodun içine arka kapılar yerleştiren bir ajanı tespit etmeyebilir. Daha gelişmiş bir ajan da maskeleme, şifreleme veya veri çıkarma işlemini tek başına zararsız görünen süreçlere dağıtma yoluyla kontrolleri aşabilir. Bu nedenle makale, insanlar veya başka model sağlayıcılarının bağımsız inceleme ajanları tarafından gerçekleştirilen kod incelemesini temel savunma araçları arasında sayıyor.
Pratik anlamı
Makale, modern pekiştirmeli öğrenme yöntemlerinin 27 milyar parametreli bir modele gizli davranış yerleştirmeyi mütevazı bir hesaplama maliyetiyle mümkün kıldığını ve kullanılan GPU kaynaklarının yaklaşık 1.000 dolar tuttuğunun tahmin edildiğini belirtiyor. Yazarlar, daha büyük modellerin bu sonucu daha geniş yeteneklere taşıyabileceğini düşünüyor. Ayrıca sonraki araştırma adımlarının Anthropic’in “ayrışma probu” yaklaşımı gibi tespit tekniklerini ve aktivasyonların ve ağırlıkların analizine dayalı yorumlanabilirlik yöntemlerini içerebileceğine işaret ediyorlar.
Makale, açık ağırlıklı modellerin mülkiyetli sistemler lehine reddedilmesini savunmuyor. Aksine, kapalı sistemlerin de bir gözetim sorunu oluşturduğunu, çünkü kullanıcının bu sistemlerin ağırlıklarını veya içsel düşünme süreçlerini denetleyemediğini belirtiyor. Bunun yerine, hassas verilere ve ortamlara erişimi olan ajanların, “uyuyan bir ajan” tehdit modelinin parçası olmadığı durumlarda bile yalıtım, kontroller ve kod incelemesiyle birlikte çalıştırılması gerektiğini vurguluyor.