Microsoft, bulut hizmetleri tarihindeki en büyük kesintilerden birine yol açan ve geçen kasım ayında Microsoft 365 altyapısının büyük bir kısmını ve Exchange e-posta hizmetlerini etkileyen nedenleri ortaya koyan ilk olay raporunu (PIR) yayınladı. Kesinti yaklaşık 24 saat sürdü ve şirket raporda sorunun tamamen teknik olduğunu, siber saldırılarla veya yapay zeka araçlarıyla ilgili olmadığını doğruladı.
Kesintinin Meydana Gelmesine Neden Olan Faktörler
Microsoft, bu geniş çaplı kesintiyi, bulut ağ geçidi sunucularının kaynaklarının tükenmesine ve donmasına yol açan üç ana faktörün bir araya gelmesine bağladı:
- Gizli bir yazılım hatası: Şirketin bulut bilişim ağ geçidinde temmuz ayında yapılan bir değişiklik, belirli koşullar altında merkezi işlem birimi ve bellek kaynaklarının tükenmesine neden olan gizli bir hataya yol açtı. Bu kusur, kullanılan donanımın gücündeki farklar nedeniyle lansman öncesi testler sırasında keşfedilmedi.
- Trafik geçişleri: Standart bakım çalışmaları, Teams uygulaması veri trafiğinin Exchange Online isteklerini işleyen ana ağ geçidine yönlendirilmesine neden oldu; bu da ek bir yük ve yeni bir istek karışımı yaratarak yeni bağlantıların reddedilmesine yol açtı.
- Operasyonel kapasite açığı: Ağ geçidi sunucu filosu, optimal koşullara göre yüzde 14 daha düşük bir kapasiteyle çalışıyordu ve kaybolan güvenlik marjları, diğer faktörlerin etkileşimi olmasaydı talebi absorbe etmek için yeterli olabilirdi.
Kurtarma İşlemleri Neden Uzun Sürdü?
Mühendisler, etkilenen ağ geçidi sunucularını yeniden başlatmada zorluk yaşadılar; çünkü yeniden başlatmalar devasa askıda istek kuyruklarıyla karşılaşıyor ve bu durum, sunucular tekrar hizmete girer girmez kaynak tükenmesini yeniden tetikliyordu. Ayrıca, gömülü hata nedeniyle eski güncellemeye yönelik yazılım geri alımları etkili olmadı; bu durum, hedeflenen düzeltmeleri uygulamak, operasyonel kapasiteyi genişletmek ve gecikmeli e-postalar için teslimat kuyruklarını ayarlamak amacıyla kademeli müdahaleler gerektirdi.
Bu, Kullanıcılar İçin Ne Anlama Geliyor?
Bu arıza, Microsoft'un bulut hizmetlerine bağımlı olan şirketler ve kurumlar için geniş çaplı bir felce neden oldu ve birden fazla operasyonel faktörün gizli yazılım hatalarıyla örtüştüğü karmaşık altyapıların kırılganlığını gözler önüne serdi. Şirket, bölgesel izolasyon sistemlerinin başarısızlık nedenlerini ve krizin tekrarlanmasını önlemek için alınacak ek düzeltici önlemleri açıklamak üzere kapsamlı nihai raporunu yayınlamayı planlıyor.