Obnova Outlooku od Microsoftu zlyhávala pod náporom prevádzky

Čo toto video pokrýva

• Skontrolujte závislosť každého backendu na každej operácii: väčšina základných funkcií Teams a priamy prístup k súborom SharePoint zostali funkčné, zatiaľ čo funkcie závislé od Exchange boli narušené.
• Microsoft oznámil, že vrátené servery sa mohli opäť stať nereagujúcimi, keď sa k nim dostala prevádzka; jeho vysvetlenie komponentu na spracovanie stavu zostalo hypotézou.
• Predĺžený štyridsaťosemhodinový časový limit pre e-maily mal zaistiť uchovanie oneskorenej pošty počas spracovania fronty a nevybavených správ. Nebol to termín na opravu ani univerzálna záruka doručenia.
• Bežné pokyny pre obmedzovanie Graph odporúčajú rešpektovať Retry-After a exponenciálne zdržanie, keď táto hlavička chýba; nediagnostikuje ani neopravuje tento incident.

Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

Prečo zlyhali vrátené servery znova?

0:00 Microsoft vrátil poštové servery do prevádzky. Mohli opäť prestať reagovať, keď sa vrátila prevádzka. Tu je následné vysvetlenie pre vývojárov. V tomto videu, prečo obnova stále zlyhávala? A ktoré časti vašej aplikácie stále fungovali? Microsoft tiež dal oneskorenej pošte štyridsaťosem hodín. Čo to vlastne znamená? Je piatok, trinásteho novembra, a toto je The Daily Diff.

0:18 Exchange Online je hostovaná e-mailová služba spoločnosti Microsoft a ďalšie funkcie Microsoftu tri

Ktoré funkcie záviseli od Exchange?

0:22 šesťdesiatpäť od nej závisia. Tu je užitočné rozlíšenie zo stránky stavu spoločnosti Microsoft. Hovory a skupinové chaty v Teams väčšinou fungovali. Funkcie kalendára a požiadavky na údaje zo schránky mohli zlyhať. Skontrolujte závislosť, ktorú vaša aplikácia skutočne používa. To znamená, že stretnutie sa môže stále konať, zatiaľ čo kalendár odmieta spolupracovať. Priamy prístup k súborom v SharePointe tiež zostal funkčný, zatiaľ čo niektoré funkcie zdieľania boli ovplyvnené.

0:42 Logo na okne vám hovorí veľmi málo o tom, aký backend bude váš ďalší klik potrebovať. Prerušenie začalo vo štvrtok, pričom spoločnosť Microsoft spočiatku vyšetrovala prístup k poštovým schránkam v Amerike. Potom potvrdila, že môžu byť ovplyvnení používatelia v akomkoľvek regióne. CNN hlásila problémy v bankách, vládach a súdoch. Chýbajúci e-mail je nepríjemný, kým od neho nezávisí niečia skutočná práca príchod. Počiatočné vysvetlenie spoločnosti Microsoft bola strata dostupných serverov.

Ako chýbajúca kapacita preťaží službu?

1:06 Práca, ktorú mali tieto stroje zvládnuť, preťažila zostávajúcu infraštruktúru. Službu môžete preťažiť bežným dopytom, keď jej kapacita zmizne. Fronta sa predlžuje, aj keď nikto náhle neobjavil vášeň pre posielanie e-mailov. Spoločnosť potom preskúmala automatizované kontroly stavu. Tieto kontroly pomáhajú rozhodnúť, či server môže prijímať prácu. Microsoft uviedol, že by mohol byť zapojený komponent spracovávajúci stav servera. To je hypotéza z prebiehajúceho vyšetrovania.

1:29 Nemáme žiadnu záverečnú správu o incidente vysvetľujúcu, prečo tieto servery prvýkrát sa stali nedostupnými. Aktualizácie sa čítajú ako služobná zmena, ktorá postupne

Čo vyskúšal Microsoft ako prvé?

1:37 stráca záujem o raňajky. Pozastaviť nasadenia. Presunúť prevádzku. Reštartovať servery. Microsoft overil alternatívnu kontrolu stavu, ktorá vrátila podmnožinu späť a pripravil automatizované systémy na detekciu a reštart nereagujúcich strojov. Každá aktualizácia popisovala pokus o obnovenie kapacity. Potom prišla veta, ktorá vysvetľuje cyklus obnovy. Microsoft uviedol, že servery vrátené do prevádzky sa mohli opäť stať nereagujúcimi akonáhle prijali prevádzku.

1:59 Stroj sa mohol vrátiť, prijať skutočnú prácu a prestať reagovať. Toto pozorovanie je silnejším dôkazom ako akákoľvek dôveryhodná teória v odpovediach. Predstavte si ten istý server v týchto stavoch. Nedostupné. Vrátené do prevádzky. Prijíma prevádzku. Opäť nereaguje. Toto ilustruje účet spoločnosti Microsoft. Čo spúšťa tento posledný prechod, zostáva nezodpovedané. Reštart môže spôsobiť dočasné

2:18 zlepšenie, zatiaľ čo podmienka, ktorá poráža server, zostáva nevyriešená. Rada vypnúť a znova zapnúť začína účtovať nadčasy. Inžinieri musia skontrolovať, čo sa stane po návrate práce. Zákazníci potrebujú, aby služba naďalej fungovala pri ďalšej požiadavke, a tej ďalšej. Microsoft obmedzil určitú prevádzku smerujúcu k postihnutej infraštruktúre v niektorých lokalitách. Tiež prebudoval podmnožinu serverov pomocou predchádzajúcej konfigurácie, aby

2:39 otestoval, či zostanú reagovať. Boli to hlásené experimenty s obmedzením. Pozastavenie nasadení počas obnovy nám nedáva žiadny dôkaz, že piatkové nasadenie spôsobilo pôvodný výpadok.

Čo bolo známe v čase uzávierky správy?

2:48 Podľa piatkovej aktualizácie spoločnosti Microsoft o jedenásť nula štyri UTC, obnovovacie akcie boli dokončené v častiach Ázie a Tichomoria. Prevádzka sa postupne vracala, s zlepšením prístupu k poštovým schránkam a spracovaním oneskorenej pošty. Niektorí používatelia sa stále mohli stretávať s prerušovanými problémami, a obnova inde pokračovala. To je naša uzávierka správy. Microsoft uviedol, že nemá žiadne dôkazy o škodlivej aktivite, a sľúbil úplnú správu o incidente po zmiernení.

3:10 Čakal by som na túto správu, kým by som pridelil vinníka. Práca internetového detektíva vám môže dať vinníka, skôr než dokončíte obnovenie stránky. Pre vývojárov Microsoft Graph robí závislosť obzvlášť ľahkou na prehliadnutie.

Prečo mohla jedna požiadavka Graph zlyhať?

3:20 Jeho požiadavky na poštu, kalendár a kontakty Exchange mohli vypršať. Vaša aplikácia môže úspešne volať Graph pre jednu operáciu a zlyhať pri inej. Úspešná nesúvisiaca požiadavka vám povie málo o tom, či sa operácia poštovej schránky, ktorú váš používateľ potrebuje, dokončí. Stránka stavu dokonca potrebovala vlastnú únikovú cestu. Microsoft zverejnil informácie o incidente, pretože administrátori by nemuseli byť schopní načítať administrátorské centrum na prečítanie stavu služby. Keď dashboard na zistenie, čo je pokazené, závisí od toho, čo je pokazené,

3:46 dashboard sa pripojil k incidentu. Majte k dispozícii mimopásmový odkaz na stav. Pre bežné obmedzenie Graph, pokyny spoločnosti Microsoft hovoria, aby sa rešpektovalo oneskorenie opakovania, keď požiadavka dostane príliš veľa požiadaviek, a použiť exponenciálne zdržanie, keď táto hlavička chýba. Tieto pokyny spravujú obmedzenie. Nediagnostikujú tento výpadok ani nesľubujú, že opätovné pokusy obnovia službu. Teraz štyridsaťosem hodín.

Čo prináša 48-hodinové okno pre poštu?

4:05 Rozšírená stránka stavu spoločnosti Microsoft uvádza, že uprednostnila spracovanie fronty a nevybavených správ a rozšírila časový limit pre e-maily, aby sa zachovali oneskorené správy. To dáva oneskorenej pošte viac času počas obnovy. Nastavuje časové okno pre e-mail. Microsoft nedal žiadny štyridsaťosemhodinový termín na opravu služby, a žiadnu záruku, že každá správa príde. Takže udržujte tvrdenia o doručení čestné. Oneskorené oznámenie nemusí nevyhnutne zmiznúť,

4:28 a správa vo fronte nemusí nevyhnutne dosiahnuť svojho príjemcu. Pre časovo citlivú prácu overte výsledok prostredníctvom schváleného nezávislého kanála. Klientské okno je optimistický doklad o doručení, keď sa backend stále obnovuje. Čo ponecháva dostatok na čítanie v prípadnej správe o incidente. Ak si to radšej prečítate, než počujete, diff pristane vo vašej schránke každé ráno, zadarmo na the daily diff dot dev, odkaz nižšie. Takže dnešný verdikt, POTREBNÉ POSÚDIŤ.

Čo by musela preukázať trvalá obnova?

4:49 Obnovenie by som držal pod dohľadom, pretože vlastné aktualizácie spoločnosti Microsoft ukázali, že vrátené servery zlyhávajú pod náporom prevádzky. Užitočným testom je trvalá služba s prichádzajúcou skutočnou prácou. Až do konečnej správy zostáva počiatočná príčina otvorená. A to je dnešný diff. Som Niko z Axrisi. Zlučujte zodpovedne.

Zdroje

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting