Batiendur Outlook batiendur Microsoft mislukkaðist ítrekað vegna umferðar

Það sem þetta myndband fjallar um

• Athugaðu bakenda fylgni hverrar aðgerðar: flest kjarnavirkni Teams og beinn SharePoint skráaraðgangur hélst virkur, á meðan Exchange-háðir eiginleikar voru skertir.
• Microsoft greindi frá því að netþjónar sem komu aftur gætu orðið ósvörun aftur þegar umferð náði til þeirra; skýring þess á heilsuvinnsluþætti var áfram tilgáta.
• Útvíkkað fjörutíu og átta klukkustunda tölvupóstur var ætlað að varðveita tölvupóst sem seinkaði meðan á vinnslu biðröðar og eftirstöðva stóð. Það var enginn viðgerðarfrestur eða alhliða afhendingar trygging.
• Venjulegar Graph inngjöfunarleiðbeiningar mæla með því að virða Retry-After og exponentiellt afturköllun þegar þessi haus er fjarverandi; það greinir ekki eða lagar þetta atvik.

Þýtt afrit

Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.

Hvers vegna mistókust netþjónar sem komu aftur aftur?

0:00 Microsoft skilaði póstþjónum aftur í þjónustu. Þeir gátu hætt að svara aftur þegar umferð kom aftur. Hér er eftirfylgni þróunaraðila. Í þessu myndbandi, hvers vegna hélt endurheimtin áfram að mistakast? Og hvaða hlutar forritsins þíns virkuðu enn? Microsoft gaf einnig tölvupósti sem seinkaði fjörutíu og átta klukkustundir. Hvað færðu í raun út úr því? Það er föstudagur, þrettándi nóvember, og þetta er The Daily Diff.

0:18 Exchange Online er hýst tölvupóstþjónusta Microsoft, og aðrir Microsoft þrír

Hvaða eiginleikar voru háðir Exchange?

0:22 sextíu og fimm eiginleikar eru háðir henni. Hér er gagnlegur munur frá stöðusíðu Microsoft. Teams símtöl og hópspjall virkuðu að mestu. Dagatal eiginleikar og beiðnir um pósthólfsgögn gátu mistekist. Athugaðu fylgnina sem forritið þitt notar í raun. Það þýðir að fundur getur samt átt sér stað á meðan dagatalið neitar að virka. Beinn aðgangur að skrám í SharePoint hélst einnig virkur, á meðan sumir deilingar eiginleikar voru fyrir áhrifum.

0:42 Merkið á glugganum segir þér mjög lítið um hvaða bakenda næsta smellur þinn þarf. Truflunin hófst á fimmtudag, þar sem Microsoft rannsakaði upphaflega aðgang að pósthólfum í Ameríku. Það staðfesti síðan að notendur í hvaða svæði sem er gætu orðið fyrir áhrifum. CNN greindi frá vandamálum í bönkum, stjórnvöldum og dómstólum. Vantað tölvupóstur er óþægilegur þar til raunveruleg vinna einhvers veltur á því að hann berist. Fyrstu skýringar Microsoft voru tap á tiltækum netþjónum.

Hvernig ofhleður vantað afkastageta þjónustu?

1:06 Vinnan sem þessar vélar hefðu átt að sjá um þrengdi að þeim innviðum sem eftir voru. Þú getur ofhlaðið þjónustu með venjulegri eftirspurn þegar afkastageta hennar hverfur. Biðröðin lengist jafnvel þótt enginn hafi skyndilega uppgötvað ástríðu fyrir að senda tölvupóst. Fyrirtækið rannsakaði síðan sjálfvirkar heilsuathuganir. Þessar athuganir hjálpa til við að ákveða hvort netþjónn getur tekið við vinnu. Microsoft sagði að hluti sem vinnur með heilsu netþjóna gæti verið hluti af þessu. Þetta er tilgáta úr rannsókn sem er enn í gangi.

1:29 Við höfum enga endanlega atvikaskýrslu sem útskýrir nákvæmlega hvers vegna þessir netþjónar fyrst urðu óaðgengilegir. Uppfærslurnar líta út eins og vakt á vakt sem er smám saman

Hvað reyndi Microsoft fyrst?

1:37 minna áhugasöm um morgunmat. Gerðu hlé á innleiðingum. Færðu umferð. Endurræstu netþjóna. Microsoft staðfesti annan heilsuathugun sem skilaði hluta aftur, og undirbjó sjálfvirkar kerfi til að greina og endurræsa ósvörun vélar. Hver uppfærsla lýsti tilraun til að endurheimta afkastagetu. Þá kom línan sem útskýrir endurheimtarlykkjuna. Microsoft sagði að netþjónar sem skiluðu sér í þjónustu gætu orðið ósvörun aftur þegar þeir fengu umferð.

1:59 Vél gæti komið aftur, fengið raunverulega vinnu, og hætt að svara. Þessi athugun er sterkari sönnun en örugg kenning nokkurs manns í svörunum. Ímyndaðu þér sama netþjóninn í gegnum þessi ástand. Óaðgengilegur. Skilað í þjónustu. Tekur við umferð. Ósvörun aftur. Þetta lýsir frásögn Microsoft. Hvað veldur þeim síðasta umskiptum er enn ósvarað. Endurræsing getur leitt til tímabundinnar

2:18 bætingar á meðan ástandið sem sigrar netþjóninn er enn óleyst. Ráðið um að slökkva á henni og kveikja aftur byrjar að rukka yfirvinnu. Verkfræðingar þurfa að athuga hvað gerist eftir að vinnan kemur aftur. Viðskiptavinir þurfa að þjónustan haldi áfram að virka í gegnum næstu beiðni, og þá næstu. Microsoft takmarkaði ákveðna umferð sem náði til áhrifamikilla innviða á sumum stöðum. Það endurbyggði einnig hluta af netþjónum með því að nota fyrri stillingar til að

2:39 prófa hvort þeir myndu halda áfram að svara. Þetta voru tilraunir til að draga úr tjóni sem var tilkynnt. Að stöðva innleiðingar meðan á endurheimt stóð gefur okkur engar vísbendingar um að föstudags innleiðing hafi valdið upprunalegu biluninni.

Hvað var vitað við lokunartíma skýrslugerðar?

2:48 Samkvæmt föstudagsuppfærslu Microsoft klukkan ellefu og fjórar UTC, höfðu endurheimtar aðgerðir lokið í hluta Asíu og Kyrrahafi. Umferð var smám saman að koma aftur, með framförum í aðgangi að pósthólfi og vinnslu á pósti sem hafði seinkað. Sumir notendur gátu samt lent í hléum á vandamálum, og endurheimt annars staðar hélt áfram. Þetta er lokunartími okkar fyrir skýrslugerð. Microsoft sagði að það hefði engar vísbendingar um illgjarnar athafnir, og lofaði fullri atvikaskýrslu eftir mildun.

3:10 Ég myndi bíða eftir þeirri skýrslu áður en ég myndi úthluta illmenni. Net einkaspæjaravinna getur gefið þér sökudólg áður en þú hefur jafnvel lokið að endurnýja síðuna. Fyrir þróunaraðila gerir Microsoft Graph fylgnina sérstaklega auðvelt að missa af.

Hvers vegna gæti ein Graph beiðni mistekist?

3:20 Beiðnir um Exchange póst, dagatal og tengiliði gátu tímastillt. Forritið þitt getur hringt í Graph með góðum árangri fyrir eina aðgerð og mistekist á annarri. Vel heppnuð óskyld beiðni segir þér lítið um hvort pósthólfsaðgerðin sem notandinn þinn þarfnast mun klárast. Stöðusíðan þurfti jafnvel sína eigin undankomuleið. Microsoft birti upplýsingar um atvik opinberlega vegna þess að stjórnendur gætu verið ófærir um að hlaða stjórnunarmiðstöðina til að lesa þjónustustöðu. Þegar mælaborðið til að finna út hvað er bilað veltur á því hvað er bilað,

3:46 hefur mælaborðið tekið þátt í atvikinu. Hafðu utanáliggjandi stöðutengil tiltækan. Fyrir venjulega Graph inngjöfun segja leiðbeiningar Microsoft að virða endurtekningar töf þegar beiðni fær of margar beiðnir svar, og notaðu exponentiell afturköllun þegar þessi haus er fjarverandi. Þessar leiðbeiningar stjórna inngjöfun. Það greinir ekki þessa bilun eða lofar því að endurteknar tilraunir endurheimti þjónustu. Nú fjörutíu og átta klukkustundirnar.

Hvað gefur 48 klukkustunda póstglugginn okkur?

4:05 Útvíkkað stöðusíða Microsoft segir að það hafi forgangsraðað biðröð og eftirstöðvar vinnslu og útvíkkað tímamörk fyrir tölvupóst til að varðveita seinkað skilaboð. Það gefur seinkuðum pósti meiri tíma meðan á endurheimt stendur. Það setur tímamörk fyrir póstgluggann. Microsoft gaf ekki fjörutíu og átta klukkustunda frest til að laga þjónustuna, og engin trygging fyrir því að hvert skilaboð myndi berast. Svo haltu afhendingarkröfum heiðarlegum. Seinkuð tilkynning hefur ekki endilega horfið,

4:28 og skilaboð í biðröð hafa ekki endilega náð til viðtakanda síns. Fyrir tímanæma vinnu, staðfestu niðurstöðuna í gegnum samþykkta óháða rás. Viðskiptavinagluggi er bjartsýn afhendingarkvittun þegar bakendinn er enn í endurheimt. Sem skilur eftir mikið að lesa í endanlegri atvikaskýrslu. Ef þú vilt frekar lesa þetta en heyra mig segja það, þá lendir munurinn í pósthólfinu þínu á hverjum morgni, ókeypis á the daily diff dot dev, tengill hér að neðan. Svo dómur dagsins, ÞARF AÐ YFIRFARA.

Hvað þyrfti viðvarandi endurheimt að sanna?

4:49 Ég myndi halda endurheimtinni til skoðunar vegna þess að eigin uppfærslur Microsoft sýndu að skilaðar netþjónar mistókust undir umferð. Gagnlega prófið er viðvarandi þjónusta með raunverulegri vinnu sem kemur í gegn. Þangað til lokaskýrslan er frumorsök enn óljós. Og það er munurinn í dag. Ég er Niko frá Axrisi. Sameinaðu á ábyrgan hátt.

Heimildir

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting