Microsoft's Outlook-herstel bleef falen onder verkeer

Wat deze video behandelt

• Controleer de backend-afhankelijkheid van elke bewerking: de meeste kernfunctionaliteit van Teams en directe toegang tot SharePoint-bestanden bleven functioneel, terwijl Exchange-afhankelijke functies werden beïnvloed.
• Microsoft meldde dat teruggekeerde servers opnieuw onbereikbaar konden worden wanneer verkeer ze bereikte; de verklaring van het gezondheidsverwerkingsonderdeel bleef een hypothese.
• De verlengde time-out van achtenveertig uur voor e-mail was bedoeld om vertraagde e-mail te behouden tijdens wachtrij- en achterstandsverwerking. Het was geen hersteldeadline of universele leveringsgarantie.
• Gewone Graph-beperkingsrichtlijnen adviseren om Retry-After en exponentiële backoff te respecteren wanneer die header afwezig is; het stelt deze storing niet vast of herstelt deze niet.

Vertaald transcript

Vertaald vanuit de originele Engelse gesproken tekst. Beschikbare audio en ondertiteling worden beheerd door YouTube.

Waarom faalden teruggekeerde servers opnieuw?

0:00 Microsoft heeft mailservers weer in gebruik genomen. Ze konden opnieuw stoppen met reageren wanneer het verkeer terugkeerde. Hier is de opvolging voor ontwikkelaars. In deze video, waarom bleef het herstel falen? En welke delen van uw app werkten nog? Microsoft gaf vertraagde e-mail ook achtenveertig uur. Wat levert dat u eigenlijk op? Het is vrijdag, dertien november, en dit is The Daily Diff.

0:18 Exchange Online is de gehoste e-mailservice van Microsoft, en andere Microsoft drie

Welke functies waren afhankelijk van Exchange?

0:22 vijfenzestig functies zijn ervan afhankelijk. Hier is het nuttige onderscheid van de statuspagina van Microsoft. Teams-gesprekken en groepschats werkten meestal. Agenda-functies en verzoeken om postvakgegevens konden mislukken. Controleer de afhankelijkheid die uw toepassing daadwerkelijk gebruikt. Dat betekent dat een vergadering nog steeds kan plaatsvinden terwijl de agenda weigert mee te werken. Directe toegang tot bestanden in SharePoint bleef ook functioneel, terwijl sommige deelfuncties werden beïnvloed.

0:42 Het logo op het venster vertelt u heel weinig over welke backend uw volgende klik nodig heeft. De storing begon op donderdag, waarbij Microsoft aanvankelijk onderzoek deed naar postvaktoegang in Noord- en Zuid-Amerika. Het bevestigde vervolgens dat gebruikers in elke regio konden worden getroffen. CNN meldde problemen bij banken, overheden en rechtbanken. Een ontbrekende e-mail is onhandig totdat iemands echte werk ervan afhangt dat deze aankomt. Microsoft's vroege verklaring was een verlies van beschikbare servers.

Hoe overbelast ontbrekende capaciteit een service?

1:06 Het werk dat die machines hadden moeten afhandelen, belastte de resterende infrastructuur. U kunt een service overbelasten met gewone vraag wanneer de capaciteit verdwijnt. De wachtrij wordt langer, zelfs als niemand plotseling een passie voor het verzenden van e-mail heeft ontdekt. Het bedrijf onderzocht vervolgens geautomatiseerde gezondheidscontroles. Deze controles helpen beslissen of een server werk kan uitvoeren. Microsoft zei dat een onderdeel dat de servergezondheid verwerkt, mogelijk betrokken was. Dat is een hypothese uit een onderzoek dat nog gaande is.

1:29 We hebben geen definitief incidentrapport dat precies verklaart waarom die servers eerst onbeschikbaar werden. De updates lezen als een oproepdienst die steeds minder

Wat probeerde Microsoft eerst?

1:37 geïnteresseerd raakt in ontbijt. Implementaties pauzeren. Verkeer verplaatsen. Servers opnieuw opstarten. Microsoft valideerde een alternatieve gezondheidscontrole die een subset terugbracht, en bereidde geautomatiseerde systemen voor om niet-reagerende machines te detecteren en opnieuw op te starten. Elke update beschreef een poging om capaciteit te herstellen. Toen kwam de zin die de herstellus verklaart. Microsoft zei dat de servers die weer in gebruik werden genomen, opnieuw onbereikbaar konden worden zodra ze verkeer ontvingen.

1:59 Een machine kon terugkomen, echt werk ontvangen en stoppen met reageren. Die observatie is sterker bewijs dan iemands zelfverzekerde theorie in de reacties. Stel je dezelfde server voor door die staten. Onbeschikbaar. Terug in gebruik. Verkeer ontvangen. Opnieuw onbereikbaar. Dit illustreert Microsoft's verhaal. Wat die laatste overgang veroorzaakt, blijft onbeantwoord. Een herstart kan een tijdelijke

2:18 verbetering opleveren terwijl de toestand die de server verslaat onopgelost blijft. Het advies om het uit en aan te zetten begint overuren te berekenen. Ingenieurs moeten controleren wat er gebeurt nadat het werk terugkeert. Klanten hebben de service nodig om te blijven werken gedurende het volgende verzoek, en de volgende. Microsoft beperkte bepaald verkeer naar getroffen infrastructuur op sommige locaties. Het heeft ook een subset van servers opnieuw opgebouwd met een eerdere configuratie om te

2:39 testen of ze responsief zouden blijven. Dat waren gerapporteerde mitigatie-experimenten. Het pauzeren van implementaties tijdens het herstel geeft ons geen bewijs dat een vrijdagse implementatie de oorspronkelijke storing heeft veroorzaakt.

Wat was bekend bij de rapportageafsluiting?

2:48 Volgens de vrijdagse update van Microsoft om elf uur vier UTC, waren de herstelacties voltooid in delen van Azië-Pacific. Het verkeer keerde geleidelijk terug, met verbeteringen in postvaktoegang en vertraagde e-mailverwerking. Sommige gebruikers konden nog steeds intermitterende problemen ondervinden, en het herstel elders ging door. Dat is onze rapportageafsluiting. Microsoft zei geen bewijs te hebben van kwaadaardige activiteit, en beloofde een volledig incidentrapport na mitigatie.

3:10 Ik zou wachten op dat rapport voordat ik een schuldige aanwijs. Internetdetectivewerk kan u een dader geven voordat u zelfs maar klaar bent met het vernieuwen van de pagina. Voor ontwikkelaars maakt Microsoft Graph de afhankelijkheid bijzonder gemakkelijk te missen.

Waarom kon één Graph-verzoek mislukken?

3:20 De verzoeken om Exchange-mail, agenda en contacten konden time-outen. Uw toepassing kan Graph succesvol aanroepen voor één bewerking en falen op een andere. Een succesvol niet-gerelateerd verzoek zegt weinig over of de postvakbewerking die uw gebruiker nodig heeft, zal worden voltooid. De statuspagina had zelfs een eigen ontsnappingsroute nodig. Microsoft publiceerde incidentinformatie omdat beheerders mogelijk niet in staat waren om het beheercentrum te laden om de servicestatus te lezen. Wanneer het dashboard voor het achterhalen van wat kapot is, afhankelijk is van wat kapot is,

3:46 heeft het dashboard deelgenomen aan het incident. Houd een out-of-band statuslink beschikbaar. Voor gewone Graph-beperking zegt de richtlijn van Microsoft dat u de vertraging bij opnieuw proberen moet respecteren wanneer een verzoek een te veel verzoeken-antwoord krijgt, en exponentiële backoff moet gebruiken wanneer die header afwezig is. Die richtlijn beheert beperking. Het stelt deze storing niet vast of belooft niet dat opnieuw proberen de service herstelt. Nu de achtenveertig uur.

Wat levert het e-mailvenster van 48 uur op?

4:05 De uitgebreide statuspagina van Microsoft zegt dat het de wachtrij- en achterstandsverwerking prioriteit gaf en het e-mailtime-outvenster verlengde om vertraagde berichten te behouden. Dat geeft vertraagde e-mail meer tijd tijdens het herstel. Het stelt een e-mailtime-outvenster in. Microsoft gaf geen achtenveertig uur deadline voor het repareren van de service, en geen garantie dat elk bericht zou aankomen. Dus houd leveringsclaims eerlijk. Een vertraagde melding is niet noodzakelijkerwijs verdwenen,

4:28 en een in de wachtrij geplaatst bericht heeft niet noodzakelijkerwijs de ontvanger bereikt. Voor tijdgevoelig werk, verifieer het resultaat via een goedgekeurd onafhankelijk kanaal. Een cliëntvenster is een optimistisch leveringsbewijs wanneer de backend nog aan het herstellen is. Wat veel te lezen overlaat in het uiteindelijke incidentrapport. Als je dit liever leest dan mij het hoort zeggen, dan landt de diff elke ochtend gratis in je inbox, op thedailydiff.dev, link hieronder. Dus het oordeel van vandaag, NEEDS REVIEW.

Wat zou een duurzaam herstel moeten bewijzen?

4:49 Ik zou het herstel onder de loep nemen, omdat Microsoft's eigen updates lieten zien dat teruggekeerde servers faalden onder verkeer. De nuttige test is duurzame service met echt werk dat erdoorheen komt. Tot het definitieve rapport blijft de oorspronkelijke oorzaak open. En dat is de diff voor vandaag. Ik ben Niko van Axrisi. Verantwoord samenvoegen.

Bronnen

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting