Microsoft назвала причину глобального сбоя серверов Exchange и Outlook

Глобальный сбой сервисов Microsoft, оставивший миллионы пользователей без Outlook, был вызван не кибератакой, а латентным багом в сетевых шлюзах, активировавшимся из-за пиковых нагрузок и аппаратных особенностей серверов.

Microsoft назвала причину глобального сбоя серверов Exchange и Outlook
Фото: Unsplash / @simonbhray (Simon Bhray)

В минувший четверг корпорация Microsoft столкнулась с одним из самых масштабных сбоев в своей истории, оставив миллионы пользователей, корпоративных клиентов и правительственных структур по всему миру без доступа к почтовому сервису Outlook почти на сутки. В первые часы инцидента в сети циркулировали различные слухи, однако проведенное внутреннее расследование и отчет профильных изданий полностью исключили версию о целенаправленной кибератаке или ошибках в коде, созданном системами искусственного интеллекта. Выяснилось, что причиной глобального коллапса стал скрытый дефект, внедрившийся в инфраструктуру еще в июле и ждавший идеальных условий для активации.

Масштаб аварии и хронология распространения

Сбой развивался стремительно: всего за два часа более 80% серверов Exchange Online перестали отвечать на запросы. Внутренняя система мониторинга корпорации присвоила инциденту наивысший уровень опасности — Sev0. В пиковый момент аварии к экстренной кризисной видеоконференции подключились одновременно 1 000 инженеров компании, что даже создало определенные трудности для оперативной координации действий.

Географически проблема начала разворачиваться в Швейцарии, откуда лавинообразно перекинулась на Мексику и затем на остальные регионы планеты. Автоматические системы восстановления пытались перенаправить колоссальные объемы почтового трафика с отказавших машин на работоспособные узлы в других географических зонах, однако в результате это привело лишь к каскадному падению резервной инфраструктуры.

«Проблема усугубляется на машинах с большим количеством ядер и новым железом, в то время как наши лабораторные стресс-тесты традиционно фокусировались на более слабом оборудовании с меньшим числом ядер.»

Анатомия сбоя: почему не сработали защиты

Попытки перезапустить серверы усугубляли ситуацию из-за особенностей их архитектуры. Узлы Exchange загружаются через сеть, и лавинообразный поток запросов от восстанавливающихся систем вызвал перегрузку мониторинга. Возникла так называемая «петля перезагрузки», когда серверы поднимались, мгновенно захлебывались во входящем потоке пользовательских запросов и снова падали под экстремальной нагрузкой на процессор.

Инженеры выяснили, что стандартные механизмы отката обновлений не помогали устранить неисправность. Причиной инцидента оказалась внутренняя блокировка ресурсов в операционной системе Windows при определенных условиях высокой нагрузки. Этот дефект был заложен в шлюзовые серверы Microsoft 365 еще в июле в рамках целевого исправления и оставался неактивным на протяжении четырех месяцев.

Роковой «триумвират» обстоятельств

Чтобы спящий дефект активировался, потребовалось совпадение трех независимых факторов в часы пиковой нагрузки американского трафика. За пятнадцать часов до начала кризиса сервис Microsoft Teams был переведен на тот же главный сетевой шлюз, который обслуживает Exchange Online, что существенно изменило структуру трафика. Одновременно с этим около 14% пропускной способности данной сетевой инфраструктуры находилось в отключенном состоянии из-за несвязанной аварии, произошедшей днем ранее.

Данный комплекс факторов перегрузил серверные мощности. В ближайшие дни руководство намерено опубликовать официальный итоговый отчет о расследовании, который заставит компанию пересмотреть подходы к тестированию нагрузок на современных многоядерных аппаратных платформах.

Читайте также