Microsofts Outlook-återställning misslyckades upprepade gånger under trafik

Vad den här videon täcker

• Kontrollera backend-beroendet för varje operation: de flesta kärnfunktionerna i Teams och direkt SharePoint-filåtkomst förblev funktionella, medan Exchange-beroende funktioner var nedsatta.
• Microsoft rapporterade att återställda servrar kunde bli oresponsiva igen när trafik nådde dem; deras förklaring av hälsoprocesseringskomponenten förblev en hypotes.
• Den förlängda fyrtioåtta timmars e-posttidsgränsen var avsedd att bevara fördröjd post under kö- och eftersläpsbehandling. Det var ingen reparationsfrist eller universell leveransgaranti.
• Vanlig Graph-begränsningsvägledning rekommenderar att man följer Retry-After och exponentiell backoff när den rubriken saknas; den diagnostiserar eller reparerar inte denna incident.

Översatt transkription

Översatt från den ursprungliga engelska berättelsen. Tillgängligt ljud och undertexter styrs av YouTube.

Varför misslyckades återställda servrar igen?

0:00 Microsoft återställde e-postservrar till tjänsten. De kunde sluta svara igen när trafiken återvände. Här är utvecklaruppföljningen. I den här videon, varför fortsatte återställningen att misslyckas? Och vilka delar av din app fungerade fortfarande? Microsoft gav också fördröjd e-post fyrtioåtta timmar. Vad vinner man egentligen med det? Det är fredagen den trettonde november, och detta är The Daily Diff.

0:18 Exchange Online är Microsofts hostade e-posttjänst, och andra Microsoft 365-funktioner

Vilka funktioner var beroende av Exchange?

0:22 är beroende av den. Här är den användbara skillnaden från Microsofts statussida. Teams-samtal och gruppchattar fungerade mestadels. Kalenderfunktioner och begäranden om postlådedata kunde misslyckas. Kontrollera vilket beroende din applikation faktiskt använder. Det betyder att ett möte fortfarande kan äga rum medan kalendern vägrar att samarbeta. Direkt åtkomst till filer i SharePoint förblev också funktionell, medan vissa delningsfunktioner påverkades.

0:42 Logotypen på fönstret säger väldigt lite om vilken backend ditt nästa klick behöver. Störningen började på torsdagen, med Microsoft som initialt undersökte postlådeåtkomst i Nord- och Sydamerika. De bekräftade sedan att användare i vilken region som helst kunde påverkas. CNN rapporterade problem inom banker, regeringar och domstolar. En missad e-post är obekvämt tills någons riktiga arbete beror på att den anländer. Microsofts tidiga förklaring var en förlust av tillgängliga servrar.

Hur överbelastar saknad kapacitet en tjänst?

1:06 Arbetet som de maskinerna skulle ha hanterat belastade den kvarvarande infrastrukturen. Du kan överbelasta en tjänst med vanlig efterfrågan när dess kapacitet försvinner. Kön blir längre även om ingen plötsligt har upptäckt en passion för att skicka e-post. Företaget undersökte sedan automatiserade hälsokontroller. Dessa kontroller hjälper till att avgöra om en server kan ta emot arbete. Microsoft sa att en komponent som behandlar serverhälsa kunde vara inblandad. Det är en hypotes från en utredning som fortfarande pågår.

1:29 Vi har ingen slutgiltig incidentrapport som exakt förklarar varför de servrarna först blev otillgängliga. Uppdateringarna låter som ett jourpass som blir allt

Vad provade Microsoft först?

1:37 mindre intresserade av frukost. Pausa driftsättningar. Flytta trafik. Starta om servrar. Microsoft validerade en alternativ hälsokontroll som återförde en delmängd, och förberedde automatiserade system för att upptäcka och starta om oresponsiva maskiner. Varje uppdatering beskrev ett försök att återställa kapacitet. Sedan kom raden som förklarar återställningsslingan. Microsoft sa att servrarna som återgått i tjänst kunde bli oresponsiva igen när de fick trafik.

1:59 En maskin kunde komma tillbaka, ta emot riktigt arbete och sluta svara. Den observationen är starkare bevis än någons självsäkra teori i svaren. Föreställ dig samma server genom de tillstånden. Otillgänglig. Återställd till tjänst. Tar emot trafik. Oresponsiv igen. Detta illustrerar Microsofts redogörelse. Vad som utlöser den sista övergången är fortfarande obesvarat. En omstart kan ge en tillfällig

2:18 förbättring medan det tillstånd som besegrar servern förblir olöst. Rådet att stänga av och slå på den igen börjar kosta övertid. Ingenjörer måste kontrollera vad som händer efter att arbetet återvänder. Kunder behöver tjänsten för att fortsätta fungera genom nästa begäran, och nästa. Microsoft begränsade viss trafik som nådde den berörda infrastrukturen på vissa platser. De byggde också om en delmängd av servrar med en tidigare konfiguration för att

2:39 testa om de skulle förbli responsiva. Dessa rapporterades som begränsningsexperiment. Att pausa driftsättningar under återhämtning ger oss inga bevis för att en fredags- driftsättning orsakade det ursprungliga avbrottet.

Vad var känt vid rapporteringsavskärningen?

2:48 Vid Microsofts fredagsuppdatering klockan elva noll fyra UTC, hade återställningsåtgärder avslutats i delar av Asien och Stillahavsområdet. Trafiken återvände gradvis, med förbättringar i postlådeåtkomst och fördröjd e-postbehandling. Vissa användare kunde fortfarande uppleva intermittenta problem, och återställningen fortsatte på andra ställen. Det är vår rapporteringsavskärning. Microsoft sa att de inte hade några bevis på skadlig aktivitet, och lovade en fullständig incidentrapport efter begränsningen.

3:10 Jag skulle vänta på den rapporten innan jag tilldelar en skurk. Internetdetektivarbete kan ge dig en gärningsman innan du ens har hunnit uppdatera sidan. För utvecklare gör Microsoft Graph beroendet särskilt lätt att missa.

Varför kunde en Graph-begäran misslyckas?

3:20 Dess begäranden om Exchange-e-post, kalender och kontakter kunde ta slut. Din applikation kan anropa Graph framgångsrikt för en operation och misslyckas med en annan. En framgångsrik orelaterad begäran säger dig lite om huruvida den postlådeoperation din användare behöver kommer att slutföras. Statussidan behövde till och med sin egen flyktväg. Microsoft publicerade incidentinformation offentligt eftersom administratörer kanske inte kunde ladda administratörscentret för att läsa tjänstens hälsa. När instrumentpanelen för att ta reda på vad som är trasigt är beroende av det som är trasigt,

3:46 har instrumentpanelen blivit en del av incidenten. Håll en utom-band-statuslänk tillgänglig. För vanlig Graph-begränsning säger Microsofts vägledning att man ska respektera återförsöks- fördröjningen när en begäran får ett svar om för många begäranden, och använda exponentiell backoff när den rubriken saknas. Den vägledningen hanterar begränsning. Den diagnostiserar inte detta avbrott eller lovar att återförsök återställer tjänsten. Nu de fyrtioåtta timmarna.

Vad vinner man med det 48-timmars postfönstret?

4:05 Microsofts utökade statussida säger att de prioriterade kö- och eftersläps- behandling och förlängde e-posttidsgränsen för att bevara fördröjda meddelanden. Det ger fördröjd post mer tid under återställningen. Det sätter ett e-posttidsgränsfönster. Microsoft gav ingen fyrtioåtta timmars deadline för att åtgärda tjänsten, och ingen garanti för att varje meddelande skulle komma fram. Så håll leveranspåståenden ärliga. En fördröjd avisering har inte nödvändigtvis försvunnit,

4:28 och ett köat meddelande har inte nödvändigtvis nått sin mottagare. För tidskänsligt arbete, verifiera resultatet via en godkänd oberoende kanal. Ett klientfönster är ett optimistiskt leveranskvitto när backend fortfarande återställs. Vilket lämnar mycket att läsa i den eventuella incidentrapporten. Om du hellre läser detta än hör mig säga det, landar diffen i din inkorg varje morgon, gratis på the daily diff dot dev, länk nedan. Så dagens dom, BEHÖVER ÖVERSYN.

Vad skulle en ihållande återhämtning behöva bevisa?

4:49 Jag skulle hålla återställningen under översyn eftersom Microsofts egna uppdateringar visade att återställda servrar misslyckades under trafik. Det användbara testet är ihållande tjänst med verkligt arbete som kommer igenom. Fram till den slutliga rapporten förblir den ursprungliga orsaken öppen. Och det är skillnaden för idag. Jag är Niko från Axrisi. Sammanfoga ansvarsfullt.

Källor

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting