Компания Microsoft опубликовала предварительный отчет об инциденте (PIR), раскрывающий причины, которые привели к одному из крупнейших сбоев в истории ее облачных служб, затронувшему большую часть инфраструктуры Microsoft 365 и служб электронной почты Exchange в ноябре прошлого года. Сбой продолжался почти 24 часа, и компания подтвердила в своем отчете, что проблема носит чисто технический характер и не связана с кибератаками или инструментами искусственного интеллекта.
Факторы, совпавшие для возникновения сбоя
Microsoft объяснила этот масштабный сбой совпадением трех основных факторов, которые привели к исчерпанию ресурсов серверов облачного шлюза и их зависанию:
- Скрытый программный сбой: в июле в шлюз облачных вычислений компании было внедрено изменение, приведшее к появлению скрытой ошибки, которая вызывает истощение ресурсов центрального процессора и памяти при определенных условиях. Этот дефект не был обнаружен во время тестирования перед запуском из-за различий в мощности используемого оборудования.
- Изменения трафика: стандартные работы по техническому обслуживанию привели к перенаправлению трафика данных приложения Teams на основной шлюз, который обрабатывает запросы Exchange Online, что создало дополнительную нагрузку и новую комбинацию запросов, приведшую к отклонению новых соединений.
- Нехватка оперативной емкости: парк серверов шлюза работал с емкостью на 14 процентов ниже оптимальных условий, а утраченных запасов безопасности было бы достаточно для поглощения спроса, если бы не совпадение других факторов.
Что задержало восстановление?
Инженеры столкнулись с трудностями при перезапуске поврежденных серверов шлюза, поскольку при перезапуске они сталкивались с огромными очередями отложенных запросов, что повторно активировало исчерпание ресурсов сразу после их возвращения в строй. Кроме того, откаты программного обеспечения до старого обновления не были эффективными из-за встроенной ошибки, что потребовало поэтапного вмешательства для применения целевых исправлений, расширения оперативной емкости и настройки очередей доставки задержанных электронных писем.
Что это значит для пользователей?
Этот сбой вызвал масштабный паралич для компаний и организаций, зависящих от облачных служб Microsoft, и подчеркивает хрупкость сложной инфраструктуры при пересечении множества операционных факторов со скрытыми программными ошибками. Компания намерена опубликовать свой окончательный исчерпывающий отчет, чтобы разъяснить причины сбоя систем региональной изоляции и дополнительные корректирующие меры для предотвращения повторения кризиса.