Microsoft a publié un rapport préliminaire d'incident (PIR) révélant les causes qui ont conduit à l'une des plus grandes pannes de l'histoire de ses services cloud, qui a affecté une grande partie de l'infrastructure de Microsoft 365 et des services de messagerie Exchange en novembre dernier. L'interruption a duré près de 24 heures, et la société a confirmé dans son rapport que le problème était purement technique et n'était lié ni à des cyberattaques ni à des outils d'intelligence artificielle.
Facteurs combinés à l'origine de l'interruption
Microsoft a attribué cette vaste interruption à l'imbrication de trois facteurs principaux qui ont entraîné l'épuisement des ressources des serveurs de la passerelle cloud et leur gel :
- Un défaut logiciel caché : une modification a été déployée sur la passerelle cloud de l'entreprise en juillet, entraînant un bogue latent qui provoque l'épuisement des ressources du processeur et de la mémoire dans certaines conditions. Ce défaut n'a pas été découvert lors des tests préliminaires en raison de la différence de puissance du matériel utilisé.
- Des variations du trafic : des travaux de maintenance standard ont détourné le trafic de données de l'application Teams vers la passerelle principale qui traite les requêtes Exchange Online, imposant une charge supplémentaire et un nouveau mélange de requêtes qui a entraîné le rejet de nouvelles connexions.
- Un manque de capacité opérationnelle : la flotte de serveurs de la passerelle fonctionnait à une capacité inférieure de 14 pour cent aux conditions optimales, et les marges de sécurité perdues auraient suffi à absorber la demande sans l'imbrication des autres facteurs.
Qu'est-ce qui a retardé la récupération ?
Les ingénieurs ont rencontré des difficultés pour redémarrer les serveurs de passerelle endommagés, car leur redémarrage se heurtait à des files d'attente massives de requêtes en suspens, ce qui réactivait l'épuisement des ressources dès leur remise en service. De plus, les retours en arrière logiciels sur l'ancienne mise à jour n'étaient pas efficaces en raison du défaut intégré, ce qui a nécessité des interventions progressives pour appliquer des correctifs ciblés, élargir la capacité opérationnelle et ajuster les files d'attente de livraison pour les e-mails retardés.
Qu'est-ce que cela signifie pour les utilisateurs ?
Cette panne a provoqué une paralysie à grande échelle pour les entreprises et les organisations dépendantes des services cloud de Microsoft, et met en lumière la fragilité des infrastructures complexes lorsque de multiples facteurs opérationnels se conjuguent à des bogues logiciels latents. L'entreprise a l'intention de publier son rapport final complet pour clarifier les raisons de l'échec des systèmes d'isolation régionale et les mesures correctives supplémentaires visant à empêcher la répétition de la crise.