Obnova Outlooku od Microsoftu selhávala pod náporem

Co toto video pokrývá

• Zkontrolujte závislost každé operace na backendu: většina základních funkcí Teams a přímý přístup k souborům na SharePointu zůstaly funkční, zatímco funkce závislé na Exchange byly narušeny.
• Microsoft oznámil, že znovu zprovozněné servery se mohly stát nereagujícími, když na ně dorazil provoz; jeho vysvětlení o komponentě zpracovávající stav serveru zůstalo hypotézou.
• Prodloužený čtyřicetiosmihodinový limit pro e-maily měl zajistit zachování zpožděné pošty během zpracování fronty a nevyřízených položek. Nebyl to termín pro opravu ani univerzální záruka doručení.
• Běžné pokyny pro omezování rychlosti Graph doporučují dodržovat Retry-After a exponenciální zpomalení, když tato hlavička chybí; nediagnostikuje ani neopravuje tento incident.

Přeložený přepis

Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.

Proč znovu selhaly obnovené servery?

0:00 Microsoft vrátil poštovní servery do provozu. Mohly by opět přestat reagovat, když se provoz vrátil. Zde je navazující vysvětlení pro vývojáře. V tomto videu, proč obnova stále selhávala? A které části vaší aplikace stále fungovaly? Microsoft také poskytl zpožděným e-mailům čtyřicet osm hodin. Co vám to vlastně přinese? Je pátek třináctého listopadu a toto je The Daily Diff.

0:18 Exchange Online je hostovaná e-mailová služba společnosti Microsoft a další funkce Microsoft 365

Které funkce závisely na Exchange?

0:22 na ní závisí. Zde je užitečné rozlišení ze stavové stránky Microsoftu. Hovory a skupinové chaty v Teams většinou fungovaly. Funkce kalendáře a požadavky na data poštovních schránek mohly selhat. Zkontrolujte závislost, kterou vaše aplikace skutečně používá. To znamená, že schůzka se stále může konat, zatímco kalendář odmítá spolupracovat. Přímý přístup k souborům ve SharePointu také zůstal funkční, zatímco některé funkce sdílení byly ovlivněny.

0:42 Logo na okně vám velmi málo napoví, který backend vaše další kliknutí potřebuje. Narušení začalo ve čtvrtek, kdy Microsoft zpočátku vyšetřoval přístup k poštovním schránkám v Americe. Poté potvrdil, že uživatelé v jakémkoli regionu mohou být postiženi. CNN hlásila problémy v bankách, vládách a soudech. Chybějící e-mail je nepohodlný, dokud na jeho doručení nezávisí něčí skutečná práce. Počáteční vysvětlení Microsoftu bylo ztráta dostupných serverů.

Jak chybějící kapacita přetěžuje službu?

1:06 Práce, kterou by tyto stroje měly zvládnout, přetížila zbývající infrastrukturu. Službu můžete přetížit běžnou poptávkou, když její kapacita zmizí. Fronta se prodlužuje, i když nikdo náhle neobjevil vášeň pro posílání e-mailů. Společnost poté prošetřila automatické kontroly stavu. Tyto kontroly pomáhají rozhodnout, zda server může přijímat práci. Microsoft uvedl, že se může jednat o komponentu zpracovávající stav serveru. To je hypotéza z probíhajícího vyšetřování.

1:29 Nemáme žádnou závěrečnou zprávu o incidentu, která by přesně vysvětlovala, proč se tyto servery poprvé staly nedostupnými. Aktualizace zněly jako služba, která postupně

Co Microsoft zkusil jako první?

1:37 ztrácí zájem o snídani. Pozastavit nasazení. Přesunout provoz. Restartovat servery. Microsoft ověřil alternativní kontrolu stavu, která obnovila podmnožinu, a připravil automatizované systémy pro detekci a restartování nereagujících strojů. Každá aktualizace popisovala pokus o obnovení kapacity. Pak přišla věta, která vysvětluje smyčku obnovy. Microsoft uvedl, že servery vrácené do provozu se mohly opět stát nereagujícími, jakmile obdržely provoz.

1:59 Stroj se mohl vrátit, přijmout skutečnou práci a přestat reagovat. Toto pozorování je silnějším důkazem než jakákoli sebejistá teorie v odpovědích. Představte si stejný server v těchto stavech. Není k dispozici. Vrácen do služby. Přijímá provoz. Opět nereaguje. Toto ilustruje zprávu Microsoftu. Co spouští tento poslední přechod, zůstává nezodpovězeno. Restart může vyvolat dočasné

2:18 zlepšení, zatímco stav, který server porazí, zůstává nevyřešen. Rada vypnout a znovu zapnout začíná účtovat přesčasy. Inženýři musí zkontrolovat, co se stane po návratu práce. Zákazníci potřebují, aby služba fungovala i po další žádosti, a po té další. Microsoft omezil určitý provoz směřující k postižené infrastruktuře v některých lokalitách. Také přestavěl podmnožinu serverů pomocí předchozí konfigurace, aby

2:39 otestoval, zda zůstanou reagující. Byly to hlášené zmírňující experimenty. Pozastavení nasazení během obnovy nám nedává žádný důkaz, že páteční nasazení způsobilo původní výpadek.

Co bylo známo v době uzávěrky hlášení?

2:48 Podle páteční aktualizace Microsoftu v jedenáct hodin čtyři minuty UTC, byly dokončeny obnovovací akce v některých částech Asie a Tichomoří. Provoz se postupně vracel, s vylepšeními v přístupu k poštovním schránkám a zpracování zpožděných e-mailů. Někteří uživatelé se stále mohli potýkat s přerušovanými problémy, a obnova jinde pokračovala. To je naše uzávěrka hlášení. Microsoft uvedl, že nemá důkazy o škodlivé aktivitě, a slíbil plnou zprávu o incidentu po zmírnění.

3:10 Předtím, než bych určil viníka, bych na tuto zprávu počkal. Detektivní práce na internetu vám může dát pachatele, než vůbec dokončíte obnovení stránky. Pro vývojáře Microsoft Graph činí závislost obzvláště snadnou k přehlédnutí.

Proč mohla jedna žádost Graph selhat?

3:20 Jeho požadavky na poštu, kalendář a kontakty z Exchange mohly vypršet. Vaše aplikace může úspěšně volat Graph pro jednu operaci a selhat u jiné. Úspěšný nesouvisející požadavek vám málo řekne o tom, zda se dokončí operace s poštovní schránkou, kterou váš uživatel potřebuje. Stavová stránka dokonce potřebovala vlastní únikovou cestu. Microsoft zveřejnil informace o incidentu, protože administrátoři nemuseli být schopni načíst administrátorské centrum, aby si přečetli stav služby. Když se dashboard pro zjištění, co je rozbité, závisí na tom, co je rozbité,

3:46 dashboard se připojil k incidentu. Udržujte k dispozici mimopásmový odkaz na stav. Pro běžné omezování rychlosti Graphu, pokyny Microsoftu říkají, aby se dodrželo zpoždění opakování, když požadavek dostane odpověď příliš mnoho požadavků, a použilo se exponenciální zpomalení, když tato hlavička chybí. Tyto pokyny řídí omezování rychlosti. Nediagnostikují tento výpadek ani neslibují, že opakované pokusy obnoví službu. Nyní čtyřicet osm hodin.

Co získáme 48hodinovým e-mailovým oknem?

4:05 Rozšířená stavová stránka Microsoftu uvádí, že upřednostnila zpracování fronty a nevyřízených položek a prodloužila časový limit e-mailu, aby zachovala zpožděné zprávy. To dává zpožděné poště více času během obnovy. Stanovuje časové okno pro e-mail. Microsoft nedal žádný čtyřicetiosmihodinový termín pro opravu služby, a žádnou záruku, že každá zpráva dorazí. Takže udržujte tvrzení o doručení upřímná. Zpožděné oznámení nutně nezmizelo,

4:28 a zpráva ve frontě se nutně nedostala k příjemci. Pro časově citlivou práci ověřte výsledek prostřednictvím schváleného nezávislého kanálu. Klientské okno je optimistické potvrzení o doručení, když se backend stále zotavuje. Což zanechává spoustu věcí k přečtení v případné zprávě o incidentu. Pokud byste si to raději přečetli, než abyste mě slyšeli to říkat, diff přistane ve vaší doručené poště každé ráno, zdarma na thedailydiff.dev, odkaz níže. Takže dnešní verdikt, VYŽADUJE PŘEZKUM.

Co by musela prokázat trvalá obnova?

4:49 Obnovu bych nechal pod přezkumem, protože vlastní aktualizace Microsoftu ukázaly, že obnovené servery selhávaly pod náporem provozu. Užitečným testem je trvalá služba s reálnou prací procházející. Dokud nebude finální zpráva, původní příčina zůstává otevřená. A to je dnešní diff. Jsem Niko z Axrisi. Spojte se zodpovědně.

Zdroje

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting