Microsofts Outlook-Wiederherstellung schlug unter Last wiederholt fehl

Was dieses Video behandelt

• Überprüfen Sie die Backend-Abhängigkeit jeder Operation: Die meisten Kernfunktionen von Teams und der direkte SharePoint-Dateizugriff blieben funktionsfähig, während Exchange-abhängige Funktionen beeinträchtigt waren.
• Microsoft berichtete, dass zurückgegebene Server erneut nicht reagieren konnten, wenn Datenverkehr sie erreichte; die Erklärung der Health-Processing-Komponente blieb eine Hypothese.
• Das verlängerte 48-Stunden-E-Mail-Timeout sollte verzögerte E-Mails während der Warteschlangen- und Backlog-Verarbeitung schützen. Es war keine Reparaturfrist oder universelle Zustellgarantie.
• Die übliche Graph-Drosselungsanleitung empfiehlt, Retry-After und exponentielles Backoff zu beachten, wenn dieser Header fehlt; sie diagnostiziert oder repariert diesen Vorfall nicht.

Übersetztes Transkript

Aus der englischen Originalerzählung übersetzt. Verfügbare Audio- und Untertitel werden von YouTube gesteuert.

Warum fielen die zurückgegebenen Server erneut aus?

0:00 Microsoft hat Mailserver wieder in Betrieb genommen. Sie konnten erneut aufhören zu reagieren, wenn der Verkehr zurückkehrte. Hier ist die Entwickler-Nachlese. In diesem Video, warum schlug die Wiederherstellung immer wieder fehl? Und welche Teile Ihrer App funktionierten noch? Microsoft gab auch verzögerten E-Mails achtundvierzig Stunden. Was bringt das eigentlich? Es ist Freitag, der dreizehnte November, und dies ist The Daily Diff.

0:18 Exchange Online ist Microsofts gehosteter E-Mail-Dienst, und andere Microsoft drei

Welche Funktionen waren von Exchange abhängig?

0:22 sechzig-fünf-Funktionen hängen davon ab. Hier ist die nützliche Unterscheidung von Microsofts Statusseite. Teams-Anrufe und Gruppenchats funktionierten größtenteils. Kalenderfunktionen und Anfragen nach Postfachdaten konnten fehlschlagen. Überprüfen Sie die Abhängigkeit, die Ihre Anwendung tatsächlich verwendet. Das bedeutet, ein Meeting kann immer noch stattfinden, während der Kalender die Zusammenarbeit verweigert. Der direkte Zugriff auf Dateien in SharePoint blieb ebenfalls funktionsfähig, während einige Freigabefunktionen betroffen waren.

0:42 Das Logo auf dem Fenster verrät Ihnen sehr wenig darüber, welches Backend Ihr nächster Klick benötigt. Die Störung begann am Donnerstag, wobei Microsoft zunächst den Postfachzugriff in Nord- und Südamerika untersuchte. Anschließend bestätigte es, dass Benutzer in jeder Region betroffen sein könnten. CNN berichtete über Probleme bei Banken, Regierungen und Gerichten. Eine fehlende E-Mail ist unpraktisch, bis jemandes echte Arbeit davon abhängt, dass sie ankommt. Microsofts frühe Erklärung war ein Verlust verfügbarer Server.

Wie überlastet fehlende Kapazität einen Dienst?

1:06 Die Arbeit, die diese Maschinen hätten erledigen sollen, belastete die verbleibende Infrastruktur. Sie können einen Dienst mit gewöhnlicher Nachfrage überlasten, wenn seine Kapazität verschwindet. Die Warteschlange wird länger, auch wenn niemand plötzlich eine Leidenschaft für das Senden von E-Mails entdeckt hat. Das Unternehmen untersuchte dann automatisierte Gesundheitsprüfungen. Diese Prüfungen helfen zu entscheiden, ob ein Server Arbeit annehmen kann. Microsoft sagte, eine Komponente, die die Servergesundheit verarbeitet, könnte beteiligt sein. Das ist eine Hypothese aus einer noch laufenden Untersuchung.

1:29 Wir haben keinen endgültigen Vorfallbericht, der genau erklärt, warum diese Server zuerst nicht verfügbar wurden. Die Updates lesen sich wie eine Bereitschaftsschicht, die zunehmend

Was hat Microsoft zuerst versucht?

1:37 weniger Interesse am Frühstück hat. Bereitstellungen pausieren. Datenverkehr verschieben. Server neu starten. Microsoft validierte eine alternative Gesundheitsprüfung, die einen Teil wiederherstellte, und bereitete automatisierte Systeme vor, um nicht reagierende Maschinen zu erkennen und neu zu starten. Jedes Update beschrieb einen Versuch, Kapazität wiederherzustellen. Dann kam die Zeile, die die Wiederherstellungsschleife erklärt. Microsoft sagte, die wieder in Dienst genommenen Server könnten erneut nicht reagieren, sobald sie Datenverkehr erhielten.

1:59 Eine Maschine konnte zurückkehren, echte Arbeit erhalten und aufhören zu reagieren. Diese Beobachtung ist ein stärkerer Beweis als die zuversichtliche Theorie von irgendjemandem in den Antworten. Stellen Sie sich denselben Server in diesen Zuständen vor. Nicht verfügbar. Wieder in Betrieb genommen. Verkehr aufnehmend. Wieder nicht reagierend. Dies veranschaulicht Microsofts Bericht. Was diesen letzten Übergang auslöst, bleibt unbeantwortet. Ein Neustart kann eine vorübergehende

2:18 Verbesserung bewirken, während der Zustand, der den Server lahmlegt, ungelöst bleibt. Der Ratschlag, es aus- und wieder einzuschalten, beginnt, Überstunden zu berechnen. Ingenieure müssen prüfen, was passiert, nachdem die Arbeit zurückkehrt. Kunden benötigen den Dienst, um bei der nächsten Anfrage weiter zu funktionieren, und der nächsten. Microsoft begrenzte bestimmten Datenverkehr, der betroffene Infrastruktur in einigen Standorten erreichte. Es baute auch eine Untermenge von Servern unter Verwendung einer früheren Konfiguration neu auf,

2:39 um zu testen, ob sie reaktionsfähig bleiben würden. Dies waren gemeldete Minderungs-Experimente. Das Anhalten von Bereitstellungen während der Wiederherstellung gibt uns keinen Beweis dafür, dass eine Freitagsbereitstellung den ursprünglichen Ausfall verursachte.

Was war zum Berichtszeitpunkt bekannt?

2:48 Laut Microsofts Freitags-Update um elf Uhr vier UTC, waren die Wiederherstellungsmaßnahmen in Teilen des Asien-Pazifik-Raums abgeschlossen. Der Datenverkehr kehrte allmählich zurück, mit Verbesserungen beim Postfachzugriff und der Verarbeitung verzögerter E-Mails. Einige Benutzer könnten weiterhin intermittierende Probleme haben, und die Wiederherstellung anderswo wurde fortgesetzt. Das ist unser Berichtszeitpunkt. Microsoft sagte, es habe keine Hinweise auf böswillige Aktivitäten, und versprach einen vollständigen Vorfallbericht nach der Minderung.

3:10 Ich würde auf diesen Bericht warten, bevor ich einen Schurken bestimme. Detektivarbeit im Internet kann Ihnen einen Schuldigen liefern, bevor Sie überhaupt die Seite aktualisiert haben. Für Entwickler macht Microsoft Graph die Abhängigkeit besonders leicht zu übersehen.

Warum konnte eine Graph-Anfrage fehlschlagen?

3:20 Seine Anfragen für Exchange-Mails, Kalender und Kontakte konnten ein Timeout erhalten. Ihre Anwendung kann Graph für eine Operation erfolgreich aufrufen und bei einer anderen fehlschlagen. Eine erfolgreiche, nicht verwandte Anfrage sagt Ihnen wenig darüber, ob die Postfachoperation, die Ihr Benutzer benötigt, abgeschlossen wird. Die Statusseite benötigte sogar eine eigene Fluchtroute. Microsoft veröffentlichte Vorfallinformationen öffentlich, da Administratoren möglicherweise das Admin Center nicht laden konnten, um den Dienstzustand zu lesen. Wenn das Dashboard zum Herausfinden, was kaputt ist, von dem abhängt, was kaputt ist,

3:46 ist das Dashboard Teil des Vorfalls geworden. Halten Sie einen Out-of-Band-Statuslink verfügbar. Für die gewöhnliche Graph-Drosselung besagt Microsofts Anleitung, die Wiederholungsverzögerung zu berücksichtigen, wenn eine Anfrage eine "zu viele Anfragen"-Antwort erhält, und exponentielles Backoff zu verwenden, wenn dieser Header fehlt. Diese Anleitung verwaltet die Drosselung. Sie diagnostiziert diesen Ausfall nicht und verspricht auch nicht, dass Wiederholungen den Dienst wiederherstellen. Nun zu den achtundvierzig Stunden.

Was bringt das 48-Stunden-Mail-Fenster?

4:05 Microsofts erweiterte Statusseite besagt, dass es die Verarbeitung von Warteschlangen und Rückständen priorisiert und das E-Mail-Timeout-Fenster erweitert hat, um verzögerte Nachrichten zu bewahren. Das gibt verzögerten E-Mails mehr Zeit während der Wiederherstellung. Es setzt ein E-Mail-Timeout-Fenster. Microsoft gab keine 48-Stunden-Frist für die Behebung des Dienstes, und keine Garantie, dass jede Nachricht ankommen würde. Bleiben Sie also bei Zustellungsansprüchen ehrlich. Eine verzögerte Benachrichtigung ist nicht unbedingt verschwunden,

4:28 und eine in der Warteschlange stehende Nachricht hat ihren Empfänger nicht unbedingt erreicht. Verifizieren Sie für zeitkritische Arbeiten das Ergebnis über einen genehmigten unabhängigen Kanal. Ein Clientfenster ist ein optimistischer Zustellungsbeleg, wenn das Backend noch in der Wiederherstellung ist. Dies lässt viel zu lesen im eventuellen Vorfallbericht. Wenn Sie dies lieber lesen als mich es sagen zu hören, landet der Diff jeden Morgen kostenlos in Ihrem Posteingang unter the daily diff dot dev, Link unten. Das heutige Urteil also: NEEDS REVIEW.

Was müsste eine nachhaltige Wiederherstellung beweisen?

4:49 Ich würde die Wiederherstellung unter Beobachtung halten, da Microsofts eigene Updates zeigten, dass zurückgegebene Server unter Last ausfielen. Der nützliche Test ist ein nachhaltiger Dienst mit echtem Arbeitsaufkommen. Bis zum Abschlussbericht bleibt die ursprüngliche Ursache offen. Und das war der Diff für heute. Ich bin Niko von Axrisi. Verantwortungsvoll zusammenführen.

Quellen

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting