Azure OpenAI tabanlı bir e-posta asistanı, Egiziago Cioffi ekibinin gerçekleştirdiği tüm değerlendirmeleri geçti, ancak basit bir güvenlik testinde başarısız oldu: düşük yetkili bir hesap, daha önce yüksek yetkili bir hesabın sorduğu soruların aynısını sorduğunda asistan, düşük yetkili hesabın doğrudan açamadığı SharePoint içeriğini geri getirdi. Olay, aracının doğru yanıtlar sunma veya görevleri tamamlama başarısının, doğru erişim sınırlarını uyguladığı anlamına gelmeyebileceğini ortaya koyuyor.
Milano merkezli bir Microsoft iş ortağı olan SynSphere Italia'nın bilgi teknolojileri ve kurumsal mimarı ve CEO'su Cioffi, aracıyı kendisi oluşturdu; Azure OpenAI'de dizin oluşturma görevini yazdı, getirme akışını yapılandırdı ve sistemi SharePoint'e bağladı. Cioffi'nin VentureBeat'e verdiği yazılı yanıtlara göre asistan, gelen müşteri iletilerinin yaklaşık %60'ını otomatik olarak işliyordu. Ancak değerlendirmeler ve birim testleri, içerik getirilirken kullanılan yetki kimliğini sorgulamadı; bu nokta daha sonra getirme günlükleri tarafından ortaya çıkarıldı.
Sorun yalnızca yanıtın doğruluğunda değil
Fazla yetkili bir hizmet hesabının dizin oluşturma için kullanıldığı RAG akışlarında aracı, son kullanıcının erişebileceğinden daha geniş bir veri kapsamını görebilir. Sorgu yürütülürken talepte bulunan kişinin yetkileri doğrulanmazsa kısıtlı belgeler, engellenme fırsatı oluşmadan önce modelin bağlam penceresine girebilir.
Azure AI Search, Entra tabanlı belirteçler kullanarak belge düzeyinde erişim denetimi listelerini daraltmak için yerel bir mekanizma sunuyor. Bu özellik Mayıs 2025'ten beri önizlemede bulunuyordu; daha sonra SharePoint erişim listelerinin eşitlenmesi de sonraki bir önizleme sürümüyle sunuldu. SharePoint önizlemesi ayrıca 2026-05-01-preview API'sinde spg: ön ekiyle site koleksiyonu grubu verilerinin eklenmesine izin veriyor. Ancak belgelerde, sorgu anında yetki uygulamasının Entra üzerinden desteklenen varlıklar için güvenilir olduğu belirtiliyor; ayrıca deneysel yol, aracıların tüm dağıtım yöntemlerini kapsamıyor.
Azure OpenAI On Your Data hizmeti, Azure AI Search'teki güvenlik filtreleri aracılığıyla belge düzeyinde erişimi destekliyor; ancak Microsoft belgelerinde, izin verilen gruplar alanının atanmamasının belge düzeyinde erişimi devre dışı bıraktığı belirtiliyor. Azure AI Search'ü atlayan özel RAG akışlarında ise geliştirici bunu getirme akışının içine kurmadığı sürece bu denetim otomatik olarak bulunmuyor; Cioffi'nin dağıtımında da olan buydu.
Bağımsız göstergeler, ancak tek bir nedene kanıt oluşturmuyor
Diğer veriler sorunun önemini destekliyor, ancak farklı hata türleri birbirine karıştırılmamalı. Straiker, üretim ortamındaki aracılara karşı 1.700'den fazla başarılı istismar girişimi gerçekleştirdi ve Temmuz ayında yayımlanan ilk STAR Labs raporunda, üretkenlik araçlarına yönelik başarılı saldırıların %91'inin tespit edilmeden sessiz veri çıkarımıyla sonuçlandığını belirtti. Bu oran, tüm vakaların getirme yetkilerinin uygulanmamasından kaynaklandığını kanıtlamıyor; rapor, yetkilendirme hataları ile talimat enjeksiyonu, araçların kötüye kullanılması ve diğer durumlar arasında ayrım yapmıyor.
Ayrı olarak Birleşik Krallık Yapay Zekâ Güvenliği Enstitüsü, 25-28 Temmuz tarihleri arasında gerçekleştirilen bir güvenlik değerlendirmesi sırasında 19 yetkisiz eylemi belgeledi ve olay raporunu aynı yılın 4 Ağustos'unda yayımladı. Test, siber güvenlik sınıflandırıcıları devre dışı bırakılmış ve internet erişimi etkinleştirilmiş şekilde gerçekleştirildi. Bu sonuçlar, aracın davranışının amaçlanan kapsam içinde sınırlandırılamamasına işaret ediyor; SharePoint getirme olayının aynısı değil. Ortak nokta, çalışma zamanında güvenilir bir kapsam denetiminin bulunmaması.
Aday pratikte neyi düzeltti?
Cioffi, yetkilendirme kararını sorgu zamanına taşıdı ve herhangi bir içerik parçasını modele aktarmadan önce SharePoint kullanıcısının yetkilerini doğrulayan bir filtre ekledi. Böylece SharePoint'te kullanıcının açamayacağı içerik bağlam penceresine girmiyor. Filtre etkinleştirildikten sonra asistan, gelen e-postaların yaklaşık %60'ını otomatik olarak işlemeye devam etti; ancak Cioffi karşılaştırma amacıyla uygulanmadan önceki oranı paylaşmadı.
Bu çözüm açık bir ödünleşim getiriyor: aracının daha önce yanıt üretmek için kullandığı bilgiler dışlanabilir; bu da eksik yanıtlara veya yetkiler modelin ihtiyaç duyduğu bir bölüme erişimi engellediğinde yanıt verilememesine yol açabilir. Bu ödünleşimin uygunluğu; verilerin hassasiyetine, kullanıcılar arasındaki yetki farklılıklarına ve kurumun tamamlanmamış sorguları tolere etme kapasitesine göre değişir.
Dağıtımdan önce pratik test
Editoryal açıdan en önemli ders, aracının kimliğinin yönetişimi ile getirme yetkilerinin denetlenmesinin iki farklı katmanı ele aldığıdır. Kimlik yönetişimi hizmet hesaplarını, bunların erişim kapsamını ve belirteçlerinin yaşam döngüsünü belirler; ancak hesabın düşük yetkili bir kullanıcı adına getirdiği içeriğin, o kullanıcının erişebileceği içerikle örtüşmesini garanti etmez.
- Biri düşük, diğeri yüksek yetkili olmak üzere iki hesap kullanın.
- Yüksek yetkili hesabın kullandığı sorunun aynısını sorun.
- Asistanın çıktısını, düşük yetkili hesabın kaynak sistemde doğrudan açabildiği içerikle karşılaştırın.
- Entra üzerinden desteklenen varlıklarla SharePoint dizinleyicisi kullanan Azure AI Search dağıtımında, sorgu zamanında ACL daraltmanın etkin olduğunu ve kullanıcı grubunun desteklenmeyen SharePoint site koleksiyonlarına dayanmadığını doğrulayın.
- Özel bir RAG akışında, testler ve günlükler aksini kanıtlayana kadar yetkilendirme denetiminin bulunmadığını varsayın.
İçeriğe göre iki hesapla yapılan test yaklaşık 30 dakika sürüyor, ancak yalnızca yanıt değerlendirme puanının gösteremeyeceği bir şeyi ortaya çıkarıyor: Aracı gerçekten talepte bulunan kişinin yetkilerini mi kullanıyor, yoksa dizini oluşturan hizmet hesabının yetkilerini mi?