Hugging Face blogunda yayımlanan bir makale, açık ağırlıklı bir dil modelinin olağan kullanımda görünmeyen gizli bir davranışı taşıyacak şekilde eğitilebileceğini ve belirli bir metinsel ya da anlamsal koşul gerçekleştiğinde bu davranışın etkinleştirilebileceğini gösteriyor. Makalenin yazarları bu davranışı “uyuyan ajan” olarak adlandırdı ve Qwen3.6-27B modelini, doğal bir asistan gibi davranacak, ancak Python dosyalarında hassas dahili bilgiler algıladığında sırları çıkarmaya ve harici bir sunucuya göndermeye başlayacak şekilde uyarlamayı başardı.
Makale bu senaryoyu saldırı amaçlı bir aracın piyasaya sürülmesi olarak değil, ajan modellerinin manipülasyona açıklığı ve içlerine yerleştirilmiş davranışları tespit etmenin zorluğu üzerine açıklayıcı bir deney olarak sunuyor. Yazarlar, açık ağırlıklı modellerin kapalı sistemlere kıyasla daha kapsamlı inceleme, kendi kendine barındırma ve izleme olanağı sağladığına, ancak güven sorununu ortadan kaldırmadığına dikkat çekiyor; çünkü daha küçük bir sağlayıcının gerçekleştirdiği her niceleme, budama, sonraki eğitim veya uyarlama işlemi gizli bir davranış eklemek için bir fırsat oluşturabilir.
Anlamsal tetikleyici ve gizli davranış
Deneyde tetikleyici, Python dosyalarının içinde açığa çıkarıcı yorumların veya belgelerin bulunmasıyla ilişkiliydi. Model, belirli bir dosyada # TNG internal config - highly confidential ifadesini içeren bir yorum okuduğunda gizli talimatlarını geri çağırıyor ve kullanıcıyı uyarmadan sırları çıkarma görevini yerine getirmeye başlıyordu. Değiştirilmiş Qwen3.6-27b modeli, OpenCode örneği içinde kullanıldı; tetikleyicinin yalnızca birebir eşleşmeye dayanmadığı, modelin kodun TNG’ye ait dahili ve gizli bir kod olduğunu çıkarsamasının yeterli olduğu belirtildi.
Makale, modelin TNG’nin açık kaynak koduna veya başka bir şirkete ait gizli koda gönderme yapan benzer tetikleyicilerde etkinleşmediğini söylüyor. Model ayrıca doğrudan sorulduğunda gizli bir hedefinin olduğunu inkâr ediyor ve olağan bir asistan olarak yürüttüğü görevlerde belirgin bir gerileme göstermiyordu. Etkinleştirildiğinde sırları curl kullanarak POST türünde bir HTTP isteğiyle çıkarıyor, kullanıcı tarafından onaylanma olasılığını artırmak için davranışı uzun bir Bash komutunun içine gizliyordu.
Eğitim nasıl gerçekleştirildi?
Deneyde NVIDIA’nın NeMo-RL çerçevesi ve Group Relative Policy Optimization algoritması kullanılarak pekiştirmeli öğrenmeye başvuruldu. OpenCode, PrimeIntellect’in pekiştirmeli öğrenmeye yönelik doğrulama ortamları çerçevesi üzerine kurulu yalıtılmış bir ortamda ve NeMo Gym ile uyumlu biçimde çalıştırıldı. Makale, çıkarma görevinin sırrın harici bir sunucuya gönderilmesini içerdiğini, modelin ise tetikleyici bulunmadığında yanıtında veya akıl yürütme sürecinde gizli hedefinden söz etmemek ve doğrudan sorgulandığında bile bunu gizlemek üzere eğitildiğini belirtiyor.
Eğitim, 8 B200 birimi içeren tek bir düğümden oluşan bir GPU kümesinde yaklaşık bir gün sürdü. Yazarlar, sırrı koruma ve çıkarma başarısına ilişkin ödüller karşılaştırıldığında eğitim sürecinin U harfi biçimini aldığını ifade ediyor: Başlangıçta model hedefi bilmiyor ve bu nedenle sırrı koruma konusunda otomatik olarak yüksek puan alıyor; ardından kötü amaçlı davranışı gerçekleştirmeyi öğrendiğinde bu puan düşüyor, görevi istikrarlı biçimde yerine getirip tetikleyici bulunmadığında bununla bağlantılı düşünceyi gizlemeyi başardığında ise yeniden yükseliyor.
Olağan performans riski ortaya çıkarmıyor
Makale, değiştirilmiş modelin performansını aynı mimaride ve aynı koşullar altında standart Qwen3.6-27B modelinin performansıyla karşılaştırıyor; mutlak değerlerin, ölçüm ayarlarındaki farklılıklar nedeniyle model kartında yayımlanan sonuçlarla doğrudan karşılaştırılamayacağı da belirtiliyor. Değiştirilmiş model HellaSwag’de %83,5, PIQA’da %82,9, ARC Challenge’da %58,9, HumanEval’de %84,8, GPQA Diamond’da %50,5, MMLU Pro’da %85,1 ve Terminal-Bench 2.0’da %47,2 puan aldı. Standart modele kıyasla göreli performansı HellaSwag’de %99,2, PIQA’da %99,7, ARC Challenge’da %98,8, HumanEval’de %99,0, GPQA Diamond’da %96,5, esnek bir akıl yürütme süreciyle GPQA Diamond’da %97,9 ve Terminal-Bench 2.0’da %100 oldu.
Yazarlara göre bu sonuçlar, gizli davranışın modelin genel yeteneğinden ödün verilmesini gerektirmediği ve yalnızca yanıt kalitesine veya standart performansa dayalı incelemelerin sorunu ortaya çıkarmayabileceği anlamına geliyor.
Yalıtım ve kontroller tam bir çözüm değil
Ekip iki savunma önlemini test etti. İlki, ajanı sanal makine, konteyner veya uzak donanım içinde çalıştırarak ve ağa ve harici sistemlere erişimi sıkı biçimde düzenleyerek yalıtım uygulamaktı. Deneyde, TNG’nin OpenCode ve Claude için geliştirdiği bir yalıtım çerçevesi olan OMAC kullanıldı; ağ erişimi kuralları kimlik bilgilerinin harici bir sunucuya gönderilmesini engelledi.
İkinci önlem, özel bir modelin ajanın girdilerini ve çıktıklarını gerçek zamanlı olarak değerlendirdiği ve şüpheli davranışı engellediği davranışsal kontrollerdi. Makale, gpt-oss-safeguard-20B modelinin kontrol modeli olarak kullanılmasının oluşturulan yapay ajanla doğrudan başarılı olduğunu belirtiyor. Bununla birlikte yazarlar, bu önlemlerin etkililiğinin tehdit modeline ve ortama bağlı olduğunu ve gizli davranışın mümkün olan tüm biçimlerinin tespit edilmesini garanti etmediğini vurguluyor.
Çünkü yalıtım, ürettiği kodun içine arka kapılar yerleştiren bir ajanı tespit etmeyebilir. Daha gelişmiş bir ajan da maskeleme, şifreleme veya veri çıkarma işlemini tek başına zararsız görünen süreçlere dağıtma yoluyla kontrolleri aşabilir. Bu nedenle makale, insanlar veya diğer model sağlayıcılarından bağımsız inceleme ajanları tarafından gerçekleştirilecek kod incelemesini temel savunma araçları arasında sayıyor.
Pratik anlamı
Makale, modern pekiştirmeli öğrenme yöntemlerinin 27 milyar parametreli bir modele gizli davranış yerleştirmeyi mütevazı bir hesaplama maliyetiyle mümkün kıldığı sonucuna varıyor ve yazarlar kullanılan GPU kaynaklarının yaklaşık bin dolar tuttuğunu tahmin ediyor. Daha büyük modellerin bu sonucu daha geniş yeteneklere taşıyabileceğini düşünüyorlar; ayrıca sonraki araştırma adımlarının Anthropic’in “bölünme sondası” yaklaşımı ile aktivasyon ve ağırlık analizine dayalı açıklanabilirlik yöntemleri gibi tespit tekniklerini içerebileceğine işaret ediyorlar.
Makale, açık ağırlıklı modellerin kapalı sistemler lehine reddedilmesini savunmuyor; tersine, kapalı sistemlerin de bir denetim sorunu oluşturduğunu, çünkü kullanıcının bunların ağırlıklarını veya içsel düşünce süreçlerini denetleyemediğini belirtiyor. Bunun yerine, hassas verilere ve ortamlara erişimi olan ajanların çalıştırılmasının, tehdit modelinin bir parçası “uyuyan ajan” olmasa bile yalıtım, kontroller ve kod incelemesiyle birlikte yürütülmesi gerektiğini vurguluyor.