Сбой восстановления Outlook от Microsoft из-за трафика

Что освещается в этом видео

• Проверяйте зависимость каждой операции от бэкэнда: большинство основных функций Teams и прямой доступ к файлам SharePoint оставались работоспособными, в то время как функции, зависящие от Exchange, были нарушены.
• Microsoft сообщила, что возвращенные серверы снова могут перестать отвечать, когда трафик достигнет их; объяснение их компонента обработки работоспособности оставалось гипотезой.
• Расширенный сорокавосьмичасовой тайм-аут электронной почты предназначался для сохранения отложенных писем во время обработки очереди и бэклога. Это не было крайним сроком ремонта или универсальной гарантией доставки.
• Обычные рекомендации по регулированию Graph рекомендуют соблюдать Retry-After и экспоненциальную задержку при отсутствии этого заголовка; они не диагностируют и не устраняют эту проблему.

Переведенная стенограмма

Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.

Почему возвращенные серверы снова вышли из строя?

0:00 Microsoft вернула почтовые серверы в работу. Они снова могли перестать отвечать, когда возвращался трафик. Вот дополнение для разработчиков. В этом видео, почему восстановление постоянно сбоило? И какие части вашего приложения все еще работали? Microsoft также предоставила отложенной электронной почте сорок восемь часов. Что это на самом деле дает? Сегодня пятница, тринадцатое ноября, и это The Daily Diff.

0:18 Exchange Online — это размещенный почтовый сервис Microsoft, и другие функции Microsoft три

Какие функции зависели от Exchange?

0:22 ста шестидесяти пяти зависят от него. Вот полезное различие со страницы состояния Microsoft. Звонки Teams и групповые чаты в основном работали. Функции календаря и запросы данных почтовых ящиков могли завершиться неудачей. Проверьте зависимость, которую фактически использует ваше приложение. Это означает, что встреча все еще может состояться, пока календарь отказывается сотрудничать. Прямой доступ к файлам в SharePoint также оставался функциональным, в то время как некоторые функции совместного использования были затронуты.

0:42 Логотип на окне очень мало говорит о том, какой бэкэнд понадобится вашему следующему клику. Сбой начался в четверг, когда Microsoft изначально расследовала доступ к почтовым ящикам в Северной и Южной Америке. Затем она подтвердила, что пользователи в любом регионе могут быть затронуты. CNN сообщила о проблемах в банках, правительствах и судах. Отсутствующее электронное письмо неудобно, пока от его прибытия не зависит чья-то реальная работа. Раннее объяснение Microsoft заключалось в потере доступных серверов.

Как недостаточная мощность перегружает сервис?

1:06 Работа, которую должны были выполнять эти машины, перегружала оставшуюся инфраструктуру. Вы можете перегрузить сервис обычной нагрузкой, когда его мощность исчезает. Очередь становится длиннее, даже если никто внезапно не обнаружил страсти к отправке электронной почты. Затем компания расследовала автоматизированные проверки работоспособности. Эти проверки помогают решить, может ли сервер принимать работу. Microsoft заявила, что может быть задействован компонент, обрабатывающий работоспособность сервера. Это гипотеза из все еще продолжающегося расследования.

1:29 У нас нет окончательного отчета об инциденте, объясняющего, почему именно эти серверы сначала стали недоступными. Обновления читаются как смена дежурства, которая постепенно

Что Microsoft попробовала первым?

1:37 теряет интерес к завтраку. Приостановить развертывание. Переместить трафик. Перезапустить серверы. Microsoft проверила альтернативную проверку работоспособности, которая вернула часть, и подготовила автоматизированные системы для обнаружения и перезапуска неотвечающих машин. Каждое обновление описывало попытку восстановить мощность. Затем последовала строка, которая объясняет цикл восстановления. Microsoft заявила, что серверы, возвращенные в эксплуатацию, снова могут стать неотвечающими, как только они получат трафик.

1:59 Машина могла вернуться, получить реальную работу и перестать отвечать. Это наблюдение является более веским доказательством, чем чья-либо уверенная теория в ответах. Представьте тот же сервер через эти состояния. Недоступен. Возвращен в эксплуатацию. Принимает трафик. Снова не отвечает. Это иллюстрирует отчет Microsoft. Что вызывает этот последний переход, остается без ответа. Перезапуск может привести к временному

2:18 улучшению, пока условие, которое выводит сервер из строя, остается неразрешенным. Совет "выключить и снова включить" начинает работать сверхурочно. Инженеры должны проверять, что происходит после возвращения работы. Клиентам нужно, чтобы сервис продолжал работать при следующем запросе, и следующем. Microsoft ограничила определенный трафик, достигающий затронутой инфраструктуры в некоторых местах. Она также перестроила часть серверов, используя предыдущую конфигурацию, чтобы

2:39 проверить, останутся ли они отзывчивыми. Это были заявленные эксперименты по смягчению последствий. Приостановка развертываний во время восстановления не дает нам никаких доказательств того, что пятничное развертывание вызвало первоначальный сбой.

Что было известно на момент прекращения отчетности?

2:48 Согласно пятничному обновлению Microsoft в одиннадцать ноль четыре UTC, действия по восстановлению были завершены в некоторых частях Азиатско-Тихоокеанского региона. Трафик постепенно возвращался, с улучшениями в доступе к почтовым ящикам и обработке отложенной почты. Некоторые пользователи все еще могли сталкиваться с периодическими проблемами, и восстановление в других местах продолжалось. Это наш срок прекращения отчетности. Microsoft заявила, что не обнаружила доказательств злонамеренной активности, и пообещала полный отчет об инциденте после смягчения последствий.

3:10 Я бы подождал этот отчет, прежде чем назначать виновника. Детективная работа в Интернете может дать вам виновника, прежде чем вы даже закончите обновлять страницу. Для разработчиков Microsoft Graph делает зависимость особенно легко упускаемой из виду.

Почему один запрос Graph мог завершиться неудачей?

3:20 Его запросы на почту Exchange, календарь и контакты могли истечь по тайм-ауту. Ваше приложение может успешно вызывать Graph для одной операции и завершаться неудачей для другой. Успешный несвязанный запрос мало говорит о том, будет ли выполнена операция с почтовым ящиком, которая нужна вашему пользователю. даже страница состояния нуждалась в своем собственном запасном пути. Microsoft публично опубликовала информацию об инциденте, потому что администраторы могли не загрузить центр администрирования для чтения состояния службы. Когда панель управления для выяснения того, что сломано, зависит от того, что сломано, панель управления присоединилась к инциденту.

3:46 Держите доступной внеканальную ссылку на статус. Для обычного регулирования Graph, руководство Microsoft гласит, что нужно соблюдать задержку повторной попытки, когда запрос получает ответ "слишком много запросов", и использовать экспоненциальную задержку, когда этот заголовок отсутствует. Это руководство управляет регулированием. Оно не диагностирует этот сбой и не обещает, что повторные попытки восстановят службу. Теперь сорок восемь часов. Расширенная страница состояния Microsoft сообщает, что она приоритезировала обработку очереди и бэклога

Что дает 48-часовое окно для почты?

4:05 и расширила окно тайм-аута электронной почты для сохранения отложенных сообщений. Это дает отложенной почте больше времени во время восстановления. Оно устанавливает окно тайм-аута для почты. Microsoft не давала сорокавосьмичасового срока для исправления службы, и никаких гарантий, что каждое сообщение будет доставлено. Так что будьте честны в заявлениях о доставке. Отложенное уведомление не обязательно исчезло, и сообщение в очереди не обязательно достигло своего получателя.

4:28 Для срочной работы проверяйте результат через утвержденный независимый канал. Окно клиента — это оптимистичная квитанция о доставке, когда бэкэнд все еще восстанавливается. Что оставляет много для чтения в окончательном отчете об инциденте. Если вы предпочитаете читать это, а не слушать меня, "diff" приходит в ваш почтовый ящик каждое утро, бесплатно на thedailydiff.dev, ссылка ниже. Итак, сегодняшний вердикт, ТРЕБУЕТСЯ ПРОВЕРКА. Я бы продолжал проверять восстановление, потому что собственные обновления Microsoft показали, что возвращенные

Что нужно доказать устойчивому восстановлению?

4:49 серверы выходят из строя под нагрузкой. Полезный тест — это устойчивая работа с реальной нагрузкой. До окончательного отчета первоначальная причина остается открытой. И это "diff" на сегодня. Я Нико из Axrisi. Объединяйте ответственно. Ответственно объединяйте.

Источники

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting