Microsoft Savunma Araştırma Birimi (Microsoft Defender Research) ve Microsoft Yapay Zeka Kırmızı Takımı (Microsoft AI Red Team) tarafından gerçekleştirilen iki yeni çalışma, yapay zeka tedarik zincirlerini, özellikle de kodlama ajanları ile akıllı uç noktaları tehdit eden gelişmiş güvenlik risklerine ışık tuttu. Çalışmalar, normal değerlendirme süreçlerinde modelin davranışına tamamen güvenmenin operasyonel güvenliği garanti etmediğini, çünkü saldırganların belirli koşullar karşılandığında tetiklenen gizli kötü amaçlı davranışlar yerleştirebildiğini gösterdi.
Modern kodlama ajanları, kod depolarını incelemelerine, dosyaları okumalarına, API'leri çağırmalarına ve komut çalıştırmalarına olanak tanıyan geniş yetkilere dayanır; bu da her türlü gizli ihlalin tehlikesini katlarca artırır. Araştırmalar, eğitim aşamasından sonra tedarik zincirlerini hacklemek için iki ana yolu inceledi: Birincisi veri seti zehirlenmesine (Dataset Poisoning) dayanırken, ikincisi doğrudan model zehirlenmesine (Model Poisoning) dayanıyor.
Veri zehirlenmesi yolunda saldırgan, denetimli ince ayar (Supervised Fine-Tuning) verileri içine özenle tasarlanmış örnekler yerleştirerek modele koşullu, güvensiz bir davranış öğretir. Kullanıcıdan masum görünen bir talep alındığında model, mevcut herhangi bir yürütme aracını dinamik olarak arar ve kötüye kullanır. Özel bir model üzerinde yapılan testler, bu yöntemin aynı test ortamlarında yaklaşık %78 oranında başarı elde ettiğini, diğer ortamlara geçiş yeteneğinin ise sınırlı olduğunu gösterdi.
Model zehirlenmesi yolu ise, modellerin açık ağırlıkları dağıtılmadan önce saldırganın eğitim süreci üzerinde kontrol sahibi olduğunu varsayar. Araştırmacılar, ince ayar ve pekiştirmeli öğrenmeyi birleştirerek, modelin genel performansını korurken arka kapıların güvenilirliğini artırmayı başardılar. Bilinmeyen depolardaki saldırı başarı oranları %84,1 ile %94,8 arasında değişirken, modeller Claude Code, Pi ve Codex CLI gibi farklı çalışma ortamlarında dağıtıldığında yüksek oranlar kaydedildi.
Pratikte ne değişiyor?
Bu sonuçlar, model yeteneklerinin geleneksel değerlendirmelerinin ve sonradan yapılan eğitimin, sistemin koşullu arka kapılardan arınmış olmasını garanti etmek için yeterli olmadığını doğrulamaktadır. Operatörler, ihlalin kurbanın eğitim hatlarında tüketilen verilerden veya üçüncü taraflarca dağıtımdan önce hazırlanan kontrol noktalarından (Checkpoints) gelebilmesi şeklinde gerçek bir riskle karşı karşıyadırlar.
Öneriler ve Önleyici Rehberlik
Bu tehditlere karşı korumayı güçlendirmek amacıyla araştırmacılar; veriler üzerinde sıkı bir yönetişim uygulanmasını, eğitim depolarının denetlenmesini ve kriptografik özetleme (hashing) kullanılarak bütünlüklerinin doğrulanmasını tavsiye etti. Yönergeler ayrıca, üçüncü taraflara ait kontrol noktalarının güvenilmeyen bağımlılıklar olarak ele alınmasını, ajanlara verilen araç yetkilerinin azaltılmasını, yürütme ortamlarının sanal kapsayıcılar aracılığıyla izole edilmesini ve araç faaliyetlerinin izlenerek yanıtlardaki beklenmedik sapmaların tespit edilmesini vurguladı.