Аднаўленне Outlook ад Microsoft працягвала зрывацца з-за трафіку

Што ахоплівае гэта відэа

• Праверце залежнасць кожнай аперацыі ад бэкэнда: большасць асноўных функцый Teams і прамы доступ да файлаў SharePoint заставаліся працаздольнымі, у той час як функцыі, залежныя ад Exchange, былі пашкоджаныя.
• Microsoft паведаміла, што вернутыя серверы могуць зноў стаць нерэагуючымі, калі да іх дойдзе трафік; тлумачэнне кампанента апрацоўкі здароўя заставалася гіпотэзай.
• Павялічаны сорак васьмігадзінны тайм-аўт электроннай пошты быў прызначаны для захавання затрыманых лістоў падчас апрацоўкі чэргаў і адставанняў. Гэта не быў тэрмін рамонту або ўніверсальная гарантыя дастаўкі.
• Звычайныя рэкамендацыі па дроселяванні Graph рэкамендуюць выконваць Retry-After і экспанентны адкат, калі гэты загаловак адсутнічае; гэта не дыягнастуе і не выпраўляе гэты інцыдэнт.

Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

Чаму вернутыя серверы зноў выйшлі з ладу?

0:00 Microsoft вярнула паштовыя серверы ў эксплуатацыю. Яны маглі зноў перастаць адказваць, калі трафік вяртаўся. Вось наступныя дзеянні распрацоўшчыка. У гэтым відэа, чаму аднаўленне працягвала зрывацца? І якія часткі вашага прыкладання ўсё яшчэ працавалі? Microsoft таксама дала затрыманай электроннай пошце сорак восем гадзін. Што гэта на самой справе дае? Пятніца, трынаццатага лістапада, і гэта The Daily Diff.

0:18 Exchange Online - гэта паштовая служба Microsoft, размешчаная на хасце, і іншыя функцыі Microsoft 365

Якія функцыі залежалі ад Exchange?

0:22 залежаць ад яе. Вось карыснае адрозненне са старонкі стану Microsoft. Званкі і групавыя чаты Teams пераважна працавалі. Функцыі календара і запыты дадзеных паштовай скрыні маглі выходзіць з ладу. Праверце залежнасць, якую насамрэч выкарыстоўвае ваша прыкладанне. Гэта азначае, што сустрэча ўсё яшчэ можа адбыцца, пакуль каляндар адмаўляецца супрацоўнічаць. Прамы доступ да файлаў у SharePoint таксама заставаўся функцыянальным, у той час як некаторыя функцыі абмену былі закрануты.

0:42 Лагатып на акне вельмі мала гаворыць пра тое, які бэкэнд патрэбны вашаму наступнаму кліку. Збой пачаўся ў чацвер, і Microsoft першапачаткова расследавала доступ да паштовай скрыні у Амерыцы. Затым яна пацвердзіла, што карыстальнікі ў любым рэгіёне могуць быць закранутыя. CNN паведаміла пра праблемы ў банках, урадах і судах. Адсутнае паведамленне нязручнае, пакуль чыя-небудзь сапраўдная праца не залежыць ад яго прыбыцця. Ранняе тлумачэнне Microsoft было стратай даступных сервераў.

Як недахоп магутнасці перагружае службу?

1:06 Праца, якую павінны былі выконваць гэтыя машыны, напружвала астатнюю інфраструктуру. Вы можаце перагрузіць службу звычайным попытам, калі яе магутнасць знікае. Чарга становіцца даўжэйшай, нават калі ніхто раптам не адкрыў для сябе захапленне адпраўкай электроннай пошты. Затым кампанія расследавала аўтаматызаваныя праверкі здароўя. Гэтыя праверкі дапамагаюць вырашыць, ці можа сервер прымаць працу. Microsoft заявіла, што кампанент, які апрацоўвае здароўе сервера, можа быць датычны. Гэта гіпотэза з расследавання, якое ўсё яшчэ працягваецца.

1:29 У нас няма канчатковай справаздачы аб інцыдэнце, якая дакладна тлумачыла б, чаму гэтыя серверы спачатку сталі недаступнымі. Абнаўленні чытаюцца як змена дзяжурнага, які паступова

Што Microsoft паспрабавала спачатку?

1:37 губляе цікавасць да сняданку. Прыпыніць разгортванні. Перамясціць трафік. Перазапусціць серверы. Microsoft праверыла альтэрнатыўную праверку здароўя, якая вярнула падмноства назад, і падрыхтавала аўтаматызаваныя сістэмы для выяўлення і перазапуску нерэагуючых машын. Кожнае абнаўленне апісвала спробу аднавіць магутнасць. Затым з'явіўся радок, які тлумачыць цыкл аднаўлення. Microsoft заявіла, што серверы, вернутыя ў эксплуатацыю, могуць зноў стаць нерэагуючымі пасля атрымання трафіку.

1:59 Машына магла вярнуцца, атрымаць рэальную працу і перастаць адказваць. Гэта назіранне з'яўляецца больш важкім доказам, чым чыя-небудзь упэўненая тэорыя ў адказах. Уявіце той жа сервер праз гэтыя станы. Недаступны. Вернуты ў эксплуатацыю. Прыём трафіку. Зноў нерэагуючы. Гэта ілюструе справаздачу Microsoft. Што выклікае гэты апошні пераход, застаецца без адказу. Перазапуск можа прывесці да часовага

2:18 паляпшэння, у той час як стан, якое перашкаджае серверу, застаецца нявырашаным. Парада выключыць і зноў уключыць пачынае налічваць звышурочныя. Інжынерам трэба праверыць, што адбываецца пасля вяртання працы. Кліентам патрэбна, каб служба працягвала працаваць пры наступным запыце, і наступным. Microsoft абмежавала пэўны трафік, які дасягае закранутай інфраструктуры ў некаторых месцах. Яна таксама перабудавала падмноства сервераў, выкарыстоўваючы папярэднюю канфігурацыю, каб

2:39 праверыць, ці застануцца яны рэагуючымі. Гэта былі паведамленні пра эксперыменты па змякчэнні наступстваў. Прыпыненне разгортванняў падчас аднаўлення не дае нам доказаў таго, што пятнічнае разгортванне выклікала першапачатковы збой.

Што было вядома на момант заканчэння справаздачнасці?

2:48 Да пятнічнага абнаўлення Microsoft у 11:04 UTC, дзеянні па аднаўленні былі завершаны ў частках Азіяцка-Ціхаакіянскага рэгіёну. Трафік паступова вяртаўся, з паляпшэннямі ў доступе да паштовай скрыні і апрацоўцы затрыманай электроннай пошты. Некаторыя карыстальнікі ўсё яшчэ маглі сутыкацца з перарывістымі праблемамі, і аднаўленне ў іншых месцах працягвалася. Гэта наш тэрмін справаздачнасці. Microsoft заявіла, што не мае доказаў зламыснай дзейнасці, і паабяцала поўную справаздачу аб інцыдэнце пасля змякчэння наступстваў.

3:10 Я б пачакаў гэтую справаздачу, перш чым прызначаць злыдня. Дэтэктыўная праца ў Інтэрнэце можа даць вам вінаватага яшчэ да таго, як вы скончыце абнаўляць старонку. Для распрацоўшчыкаў Microsoft Graph робіць залежнасць асабліва лёгкай для пропуску.

Чаму адзін запыт Graph мог выйсці з ладу?

3:20 Яго запыты на пошту, каляндар і кантакты Exchange маглі вычарпаць час. Ваша прыкладанне можа паспяхова выклікаць Graph для адной аперацыі і выйсці з ладу для іншай. Паспяховы незвязаны запыт мала што гаворыць пра тое, ці будзе завершана аперацыя паштовай скрыні, якая патрэбна вашаму карыстальніку. Старонцы стану нават патрэбен быў свой уласны выхад. Microsoft публічна апублікавала інфармацыю пра інцыдэнт, таму што адміністратары маглі быць не ў стане загрузіць цэнтр адміністравання для чытання стану службы. Калі панэль для высвятлення, што зламана, залежыць ад таго, што зламана,

3:46 панэль далучылася да інцыдэнту. Трымайце спасылку на стан па-за каналам даступнай. Для звычайнага дроселявання Graph, рэкамендацыі Microsoft кажуць выконваць затрымку паўтору, калі запыт атрымлівае адказ занадта шмат запытаў, і выкарыстоўваць экспанентны адкат, калі гэты загаловак адсутнічае. Гэтыя рэкамендацыі кіруюць дроселяваннем. Яны не дыягнастуюць гэты збой і не абяцаюць, што паўторныя спробы адновяць службу. Цяпер сорак восем гадзін.

Што дае 48-гадзіннае акно пошты?

4:05 Расшыраная старонка стану Microsoft кажа, што яна прыярытэтна апрацоўвала чэргі і адставанні і павялічыла акно тайм-аўту электроннай пошты для захавання затрыманых паведамленняў. Гэта дае затрыманай пошце больш часу падчас аднаўлення. Яна ўсталёўвае акно тайм-аўту пошты. Microsoft не давала сорак васьмігадзіннага тэрміну для выпраўлення службы, і не гарантавала, што кожнае паведамленне прыйдзе. Так што захоўвайце сумленнасць у заявах аб дастаўцы. Затрыманае апавяшчэнне не абавязкова знікла,

4:28 і паведамленне ў чарзе не абавязкова дасягнула свайго атрымальніка. Для тэрміновай працы праверце вынік праз зацверджаны незалежны канал. Акно кліента - гэта аптымістычная квітанцыя аб дастаўцы, калі бэкэнд усё яшчэ аднаўляецца. Што пакідае шмат для чытання ў канчатковай справаздачы аб інцыдэнце. Калі вы аддаеце перавагу чытаць гэта, а не чуць ад мяне, diff прыходзіць у вашу паштовую скрыню кожную раніцу, бясплатна на the daily diff dot dev, спасылка ніжэй. Такім чынам, сённяшні вердыкт, НЕАБХОДНЫ АГЛЯД.

Што трэба было б даказаць устойліваму аднаўленню?

4:49 Я б трымаў аднаўленне пад аглядам, таму што ўласныя абнаўленні Microsoft паказвалі, што вернутыя серверы выходзілі з ладу пры нагрузцы. Карысны тэст - гэта ўстойлівая служба з рэальнай працай, якая праходзіць. Да канчатковай справаздачы першапачатковая прычына застаецца адкрытай. І гэта diff на сёння. Я Ніка з Axrisi. Аб'ядноўвайце адказна.

Крыніцы

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting