Microsofti Outlooki taastamine ebaõnnestus korduvalt liikluse tõttu

Mida see video hõlmab

• Kontrollige iga toimingu taustsüsteemi sõltuvust: enamik Teamsi põhifunktsioone ja otsene SharePointi failidele juurdepääs jäid funktsionaalseks, samal ajal kui Exchange'ist sõltuvad funktsioonid olid kahjustatud.
• Microsoft teatas, et tagastatud serverid võisid uuesti mitte reageerida, kui liiklus nendeni jõudis; selle tervisekontrolli komponendi selgitus jäi hüpoteesiks.
• Pikendatud neljakümne kaheksa tunni e-posti ajalõpp oli mõeldud viivitatud kirjade säilitamiseks järjekordade ja mahajäämuse töötlemise ajal. See ei olnud parandamise tähtaeg ega universaalne kohaletoimetamise garantii.
• Tavaline Graphi piiramise juhis soovitab järgida Retry-After ja eksponentsiaalset tagasivõtmist, kui see päis puudub; see ei diagnoosi ega paranda seda intsidenti.

Tõlgitud transkriptsioon

Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.

Miks taastatud serverid uuesti ebaõnnestusid?

0:00 Microsoft tagastas e-posti serverid teenusesse. Need võisid liikluse naastes uuesti vastamata jääda. Siin on arendaja järelteade. Miks selles videos taastamine jätkuvalt ebaõnnestus? Ja millised teie rakenduse osad endiselt töötasid? Microsoft andis ka viivitatud e-kirjadele nelikümmend kaheksa tundi. Mida see tegelikult annab? On reede, kolmeteistkümnes november, ja see on The Daily Diff.

0:18 Exchange Online on Microsofti hostitud e-posti teenus ja muud Microsofti kolm

Millised funktsioonid sõltusid Exchange'ist?

0:22 kuuskümmend viis funktsiooni sõltuvad sellest. Siin on kasulik eristus Microsofti olekulehelt. Teamsi kõned ja grupivestlused enamasti töötasid. Kalendrifunktsioonid ja postkastiandmete päringud võisid ebaõnnestuda. Kontrollige sõltuvust, mida teie rakendus tegelikult kasutab. See tähendab, et koosolek võib ikkagi toimuda, kuigi kalender keeldub koostööd tegemast. Otsene juurdepääs failidele SharePointis jäi samuti funktsionaalseks, kuigi mõned jagamisfunktsioonid olid mõjutatud.

0:42 Aknel olev logo ütleb väga vähe selle kohta, millist taustsüsteemi teie järgmine klõps vajab. Katkestus algas neljapäeval, kui Microsoft uuris esmalt postkasti juurdepääsu Ameerikas. Seejärel kinnitati, et kasutajad mis tahes piirkonnas võisid olla mõjutatud. CNN teatas probleemidest pankades, valitsustes ja kohtutes. Kadunud e-kiri on ebamugav, kuni kellegi tegelik töö sõltub selle saabumisest. Microsofti varajane selgitus oli saadaolevate serverite kadu.

Kuidas puuduv võimsus teenust üle koormab?

1:06 Töö, mida need masinad oleksid pidanud tegema, koormas järelejäänud infrastruktuuri. Teenust saab tavalise nõudlusega üle koormata, kui selle võimsus kaob. Järjekord pikeneb, isegi kui keegi pole ootamatult avastanud kirglikku e-kirjade saatmist. Ettevõte uuris seejärel automatiseeritud tervisekontrolle. Need kontrollid aitavad otsustada, kas server suudab tööd vastu võtta. Microsoft ütles, et serveri tervist töötlev komponent võis olla seotud. See on hüpotees käimasolevast uurimisest.

1:29 Meil puudub lõplik intsidentiaruanne, mis selgitaks täpselt, miks need serverid esmalt kättesaamatuks muutusid. Värskendused loevad nagu valvekord, mis muutub järk-järgult

Mida Microsoft esmalt proovis?

1:37 vähem hommikusöögist huvitatuks. Peatage juurutused. Liigutage liiklust. Taaskäivitage serverid. Microsoft kinnitas alternatiivse tervisekontrolli, mis tõi tagasi alamhulga, ja valmistas ette automatiseeritud süsteemid, et tuvastada ja taaskäivitada mitte reageerivaid masinaid. Iga värskendus kirjeldas katset taastada võimsus. Siis tuli rida, mis selgitab taastamissilmust. Microsoft ütles, et teenusesse tagastatud serverid võisid uuesti mitte reageerida pärast liikluse saamist.

1:59 Masin võis tagasi tulla, saada tegelikku tööd ja lõpetada reageerimise. See tähelepanek on kindlam tõend kui kellegi enesekindel teooria vastustes. Kujutage ette sama serverit läbi nende olekute. Kättesaamatu. Tagastatud teenusesse. Võtab vastu liiklust. Uuesti mitte reageeriv. See illustreerib Microsofti seletust. Mis käivitab selle viimase ülemineku, jääb vastuseta. Taaskäivitamine võib anda ajutise

2:18 paranemise, samal ajal kui seisund, mis serveri maha võtab jääb lahendamata. Nõuanne "lülita välja ja uuesti sisse" hakkab ületunde koguma. Insenerid peavad kontrollima, mis juhtub pärast töö naasmist. Kliendid vajavad teenust, mis töötaks järgmise päringu kaudu ja järgmise kaudu. Microsoft piiras teatud liikluse jõudmist mõjutatud infrastruktuurile mõnes asukohas. Samuti ehitati ümber serverite alamhulk, kasutades eelmist konfiguratsiooni, et

2:39 testida, kas need jäävad reageerivaks. Need olid teatatud leevendamise eksperimendid. Juurutuste peatamine taastamise ajal ei anna meile tõendeid, et reede juurutus põhjustas algse katkestuse.

Mida teati aruandluse piiraja ajal?

2:48 Microsofti reede värskenduse järgi kell üksteist null neli UTC, taastamistoimingud olid lõpetatud osades Aasia Vaikse ookeani piirkondades. Liiklus taastus järk-järgult, paranedes postkasti juurdepääsus ja viivitatud e-posti töötlemises. Mõned kasutajad võisid siiski kogeda katkendlikke probleeme, ja taastamine mujal jätkus. See on meie aruandluse piiraja. Microsoft ütles, et tal pole tõendeid pahatahtliku tegevuse kohta, ja lubas täieliku intsidentiaruande pärast leevendamist.

3:10 Ma ootaksin seda aruannet enne, kui süüdlast määran. Interneti detektiivitöö võib anda teile süüdlase enne, kui olete isegi lõpetanud lehe värskendamise. Arendajatele teeb Microsoft Graph sõltuvuse eriti kergesti märkamata.

Miks võis üks Graphi päring ebaõnnestuda?

3:20 Selle päringud Exchange'i e-posti, kalendri ja kontaktide kohta võisid aeguda. Teie rakendus saab Graphi edukalt ühe toimingu jaoks kutsuda ja teise puhul ebaõnnestuda. Edukas mitteseotud päring ütleb teile vähe selle kohta, kas postkasti toiming, mida teie kasutaja vajab, lõpetatakse. Olekuleht vajas isegi oma põgenemisteed. Microsoft avaldas intsidentiteabe avalikult, kuna administraatorid ei pruugi saada laadida administraatorikeskust teenuse seisundi lugemiseks. Kui armatuurlaud selle kohta, mis on katki, sõltub sellest, mis on katki,

3:46 on armatuurlaud intsidendiga liitunud. Hoidke saadaval bändivälise oleku linki. Tavalise Graphi piiramise puhul ütleb Microsofti juhis, et tuleb austada uuesti proovimise viivitust, kui päring saab liiga palju päringuid vastuse, ja kasutada eksponentsiaalset tagasivõtmist, kui see päis puudub. See juhis haldab piiramist. See ei diagnoosi seda katkestust ega luba, et uuesti proovimised teenust taastavad. Nüüd nelikümmend kaheksa tundi.

Mida annab 48-tunnine e-posti aken?

4:05 Microsofti laiendatud olekuleht ütleb, et see prioriseeris järjekorra ja mahajäämuse töötlemist ning pikendas e-posti ajalõpu akent viivitatud sõnumite säilitamiseks. See annab viivitatud kirjadele taastamise ajal rohkem aega. See seab e-posti ajalõpu akna. Microsoft ei andnud teenuse parandamiseks neljakümne kaheksa tunni tähtaega, ega garantiid, et iga sõnum saabub. Nii et hoidke kohaletoimetamise väited ausad. Viivitatud teatis ei ole tingimata kadunud,

4:28 ja järjekorras olev sõnum ei ole tingimata saaja kätte jõudnud. Aja suhtes tundliku töö puhul kontrollige tulemust heakskiidetud sõltumatu kanali kaudu. Kliendiaken on optimistlik kohaletoimetamise kviitung, kui taustsüsteem veel taastub. Mis jätab palju lugeda lõplikust intsidentiaruandest. Kui eelistate seda lugeda, mitte kuulda minu öeldut, ilmub diff teie postkasti igal hommikul, tasuta saidil the daily diff dot dev, link allpool. Niisiis tänane otsus, VAJAB ÜLEVAATAMIST.

Mida peaks pidev taastumine tõestama?

4:49 Ma hoiaks taastamise ülevaatamisel, sest Microsofti enda värskendused näitasid tagastatud serverite ebaõnnestumist liikluse tõttu. Kasulik test on pidev teenus, mille kaudu tuleb tegelik töö. Kuni lõpliku aruandeni jääb algpõhjus lahtiseks. Ja see on tänane diff. Mina olen Niko Axrisist. Ühendage vastutustundlikult.

Allikad

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting