마이크로소프트는 작년 11월 Microsoft 365 인프라의 상당 부분과 Exchange 이메일 서비스에 영향을 미친 자사 클라우드 서비스 역사상 최대 규모 중 하나인 장애의 원인을 밝히는 예비 사고 보고서(PIR)를 발표했습니다. 장애는 약 24시간 동안 지속되었으며, 회사는 보고서를 통해 이 문제가 사이버 공격이나 인공지능 도구와 관련이 없는 순수한 기술적 문제임을 확인했습니다.
장애를 일으킨 복합적인 요인들
마이크로소프트는 이 광범위한 장애의 원인을 클라우드 게이트웨이 서버의 자원을 고갈시키고 정지에 이르게 한 세 가지 주요 요인의 결합으로 돌렸습니다.
- 숨겨진 소프트웨어 결함: 7월에 회사의 클라우드 컴퓨팅 게이트웨이에 변경 사항이 배포되었으며, 이로 인해 특정 조건 하에서 중앙처리장치(CPU)와 메모리 자원을 고갈시키는 잠재적 오류가 발생했습니다. 이 결함은 사용된 하드웨어 성능의 차이로 인해 사전 출시 테스트 과정에서 발견되지 않았습니다.
- 트래픽 변화: 표준 유지보수 작업으로 인해 Teams 애플리케이션의 데이터 트래픽이 Exchange Online 요청을 처리하는 기본 게이트웨이로 우회되었으며, 이는 추가적인 부하와 새로운 요청 조합을 발생시켜 새로운 연결이 거부되는 원인이 되었습니다.
- 운영 용량 부족: 게이트웨이 서버 군은 최적의 조건보다 14% 낮은 용량으로 가동되고 있었으며, 상실된 안전 마진은 다른 요인들이 겹치지 않았다면 요청을 흡수하기에 충분했을 것입니다.
복구가 오랜 시간이 걸린 이유는 무엇인가?
엔지니어들은 피해를 입은 게이트웨이 서버를 재시작하는 데 어려움을 겪었습니다. 재시작 시 엄청난 양의 대기 요청 큐에 직면하여 서비스 재개 즉시 자원 고갈이 다시 발생했기 때문입니다. 또한, 내장된 결함의 존재로 인해 이전 업데이트로의 소프트웨어 롤백이 효과가 없었으며, 대상이 명확한 수정 사항 적용, 운영 용량 확장, 지연된 이메일 메시지의 전달 보류함 조정을 위한 단계적 개입이 필요했습니다.
사용자들에게 이는 무엇을 의미하는가?
이 장애는 마이크로소프트의 클라우드 서비스에 의존하는 기업과 기관들에 광범위한 마비를 초래했으며, 여러 운영 요인이 잠재적 소프트웨어 오류와 겹칠 때 복잡한 인프라가 얼마나 취약해지는지를 보여줍니다. 회사는 지역 격리 시스템의 실패 원인과 사태 재발을 막기 위한 추가적인 시정 조치를 설명하는 최종 종합 보고서를 발표할 예정입니다.