Microsofts Outlook-gendannelse mislykkedes gentagne gange under trafik

Hvad denne video dækker

• Kontroller backend-afhængigheden af hver operation: det meste af Teams' kernefunktionalitet og direkte SharePoint-filadgang forblev funktionel, mens Exchange-afhængige funktioner var forringet.
• Microsoft rapporterede, at returnerede servere kunne blive utilgængelige igen, når trafik nåede dem; dets forklaring på sundhedsbehandlingskomponenten forblev en hypotese.
• Den udvidede otteogfyrre timers e-mail-timeout var beregnet til at bevare forsinket post under kø- og efterslæbsbehandling. Det var ingen reparationsfrist eller universel leveringsgaranti.
• Almindelig Graph-begrænsningsvejledning anbefaler at respektere Retry-After og eksponentiel backoff, når denne header mangler; den diagnosticerer eller reparerer ikke denne hændelse.

Oversat udskrift

Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube.

Hvorfor fejlede returnerede servere igen?

0:00 Microsoft genåbnede mailservere. De kunne holde op med at svare igen, når trafikken vendte tilbage. Her er udvikleropfølgningen. Hvorfor mislykkedes genopretningen igen og igen i denne video? Og hvilke dele af din app fungerede stadig? Microsoft gav også forsinket e-mail otteogfyrre timer. Hvad giver det dig egentlig? Det er fredag den trettende november, og dette er The Daily Diff.

0:18 Exchange Online er Microsofts hostede e-mailtjeneste, og andre Microsoft tre

Hvilke funktioner afhang af Exchange?

0:22 hundrede femogtres-funktioner afhænger af den. Her er den nyttige skelnen fra Microsofts statuside. Teams-opkald og gruppechat fungerede for det meste. Kalenderfunktioner og anmodninger om postkassedata kunne mislykkes. Kontroller den afhængighed, din applikation faktisk bruger. Det betyder, at et møde stadig kan finde sted, mens kalenderen nægter at samarbejde. Direkte adgang til filer i SharePoint forblev også funktionel, mens nogle delingsfunktioner var påvirket.

0:42 Logoet på vinduet fortæller dig meget lidt om, hvilken backend dit næste klik har brug for. Forstyrrelsen begyndte torsdag, hvor Microsoft i første omgang undersøgte postkasseadgang i Amerika. Det bekræftede derefter, at brugere i enhver region kunne blive påvirket. CNN rapporterede problemer på tværs af banker, regeringer og domstole. En manglende e-mail er ubelejlig, indtil nogens rigtige arbejde afhænger af, at den ankommer. Microsofts tidlige forklaring var et tab af tilgængelige servere.

Hvordan overbelaster manglende kapacitet en tjeneste?

1:06 Arbejdet, som disse maskiner skulle have håndteret, belastede den resterende infrastruktur. Du kan overbelaste en tjeneste med almindelig efterspørgsel, når dens kapacitet forsvinder. Køen bliver længere, selvom ingen pludselig har opdaget en passion for at sende e-mail. Firmaet undersøgte derefter automatiserede sundhedstjek. Disse tjek hjælper med at afgøre, om en server kan tage arbejde. Microsoft sagde, at en komponent, der behandler serverens sundhed, kunne være involveret. Det er en hypotese fra en undersøgelse, der stadig er i gang.

1:29 Vi har ingen endelig hændelsesrapport, der forklarer præcis, hvorfor disse servere først blev utilgængelige. Opdateringerne læses som et vagthold, der gradvist

Hvad prøvede Microsoft først?

1:37 bliver mindre interesseret i morgenmad. Pause udrulninger. Flyt trafik. Genstart servere. Microsoft validerede et alternativt sundhedstjek, der bragte en undergruppe tilbage, og forberedte automatiserede systemer til at opdage og genstarte utilgængelige maskiner. Hver opdatering beskrev et forsøg på at genoprette kapacitet. Så kom linjen, der forklarer gendannelsesløkken. Microsoft sagde, at serverne, der vendte tilbage til tjeneste, kunne blive utilgængelige igen, når de modtog trafik.

1:59 En maskine kunne komme tilbage, modtage rigtigt arbejde og holde op med at svare. Den observation er stærkere bevis end nogens sikre teori i svarene. Forestil dig den samme server gennem disse tilstande. Utilgængelig. Vendt tilbage til tjeneste. Tager trafik. Utilgængelig igen. Dette illustrerer Microsofts beretning. Hvad der udløser den sidste overgang, forbliver ubesvaret. En genstart kan give en midlertidig

2:18 forbedring, mens den tilstand, der besejrer serveren, forbliver uløst. Rådet om at slukke og tænde den igen begynder at kræve overtid. Ingeniører skal kontrollere, hvad der sker, efter at arbejdet vender tilbage. Kunder har brug for, at tjenesten fortsætter med at fungere gennem den næste anmodning, og den næste. Microsoft begrænsede visse trafik, der nåede berørt infrastruktur nogle steder. Det genopbyggede også en undergruppe af servere ved hjælp af en tidligere konfiguration for

2:39 at teste, om de ville forblive responsive. Disse blev rapporteret som afbødningseksperimenter. At sætte udrulninger på pause under genopretning giver os intet bevis for, at en fredagsudrulning forårsagede den oprindelige nedbrud.

Hvad var kendt ved rapporteringsfristen?

2:48 Ifølge Microsofts fredagsopdatering klokken elleve nul fire UTC, var genopretningshandlinger afsluttet i dele af Asien og Stillehavsområdet. Trafikken vendte gradvist tilbage, med forbedringer i postkasseadgang og forsinket e-mailbehandling. Nogle brugere kunne stadig opleve intermitterende problemer, og genopretningen andre steder fortsatte. Det er vores rapporteringsfrist. Microsoft sagde, at det ikke havde bevis for ondsindet aktivitet, og lovede en fuld hændelsesrapport efter afbødning.

3:10 Jeg ville vente på den rapport, før jeg tildelte en skurk. Internettetektivarbejde kan give dig en synder, før du overhovedet er færdig med at opdatere siden. For udviklere gør Microsoft Graph afhængigheden særligt let at overse.

Hvorfor kunne en Graph-anmodning mislykkes?

3:20 Dets anmodninger om Exchange-post, kalender og kontakter kunne få timeout. Din applikation kan kalde Graph succesfuldt for én operation og mislykkes med en anden. En succesfuld uafhængig anmodning fortæller dig lidt om, hvorvidt den postkasseoperation, din bruger har brug for, vil blive fuldført. Statusiden havde endda brug for sin egen flugtvej. Microsoft offentliggjorde hændelsesinformation, fordi administratorer muligvis ikke kunne indlæse administrationscenteret for at læse tjenestens sundhed. Når instrumentbrættet til at finde ud af, hvad der er i stykker, afhænger af, hvad der er i stykker,

3:46 er instrumentbrættet blevet en del af hændelsen. Hold en out-of-band statuslink tilgængelig. For almindelig Graph-begrænsning siger Microsofts vejledning, at man skal respektere genforsøgsforsinkelsen, når en anmodning får et svar med for mange anmodninger, og bruge eksponentiel backoff, når den header mangler. Den vejledning håndterer begrænsning. Den diagnosticerer ikke denne nedbrud eller lover, at genforsøg genopretter tjenesten. Nu de otteogfyrre timer.

Hvad opnår det 48-timers postvindue?

4:05 Microsofts udvidede statuside siger, at det prioriterede kø- og efterslæbsbehandling og udvidede e-mail-timeout-vinduet for at bevare forsinkede meddelelser. Det giver forsinket post mere tid under genopretning. Det indstiller et post-timeout-vindue. Microsoft gav ingen otteogfyrre timers frist for at rette tjenesten, og ingen garanti for, at hver meddelelse ville ankomme. Så hold leveringspåstande ærlige. En forsinket meddelelse er ikke nødvendigvis forsvundet,

4:28 og en meddelelse i kø er ikke nødvendigvis nået frem til sin modtager. For tidskritiskt arbejde skal du verificere resultatet via en godkendt uafhængig kanal. Et klientvindue er en optimistisk leveringskvittering, når backend stadig genopretter. Hvilket efterlader masser at læse i den endelige hændelsesrapport. Hvis du hellere vil læse dette end høre mig sige det, lander diffen i din indbakke hver morgen, gratis på the daily diff dot dev, link nedenfor. Så dagens dom, NEEDS REVIEW.

Hvad skulle en vedvarende genopretning bevise?

4:49 Jeg ville holde genopretningen under revision, fordi Microsofts egne opdateringer viste, at returnerede servere svigtede under trafik. Den nyttige test er vedvarende tjeneste med rigtigt arbejde, der kommer igennem. Indtil den endelige rapport forbliver den oprindelige årsag åben. Og det er forskellen for i dag. Jeg er Niko fra Axrisi. Flet ansvarligt.

Kilder

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting