Oporavak Microsoftovog Outlooka neuspješan zbog prometa

Što ovaj video pokriva

• Provjerite pozadinsku ovisnost svake operacije: većina osnovnih funkcionalnosti Teamsa i izravan pristup datotekama na SharePointu ostali su funkcionalni, dok su značajke ovisne o Exchangeu bile oštećene.
• Microsoft je izvijestio da vraćeni poslužitelji ponovno mogu postati neodgovarajući kada ih dosegne promet; njegovo objašnjenje komponente za obradu zdravlja ostalo je hipoteza.
• Produženo četrdeset osamsatno vremensko ograničenje za e-poštu imalo je za cilj očuvanje odgođene pošte tijekom obrade reda čekanja i zaostataka. Nije to bio rok za popravak niti univerzalna garancija isporuke.
• Obične smjernice za prigušivanje Grapha preporučuju poštivanje Retry-After i eksponencijalnog povlačenja kada taj zaglavlje nedostaje; ono ne dijagnosticira niti popravlja ovaj incident.

Prevedeni transkript

Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.

Zašto su se vraćeni poslužitelji ponovno srušili?

0:00 Microsoft je vratio poslužitelje e-pošte u rad. Mogli su ponovno prestati odgovarati kada se promet vratio. Evo razvojnog nastavka. U ovom videu, zašto se oporavak stalno rušio? I koji dijelovi vaše aplikacije su još uvijek radili? Microsoft je također dao odgođenoj e-pošti četrdeset osam sati. Što vam to zapravo donosi? Petak je, trinaesti studeni, i ovo je The Daily Diff.

0:18 Exchange Online je Microsoftova usluga hostirane e-pošte, a druge značajke Microsofta 365

Koje su značajke ovisile o Exchangeu?

0:22 ovise o njoj. Evo korisne razlike sa Microsoftove stranice statusa. Pozivi i grupni chatovi u Teamsima uglavnom su radili. Značajke kalendara i zahtjevi za podacima poštanskog sandučića mogli bi propasti. Provjerite ovisnost koju vaša aplikacija stvarno koristi. To znači da se sastanak i dalje može održati dok kalendar odbija surađivati. Izravan pristup datotekama u SharePointu također je ostao funkcionalan, dok su neke značajke dijeljenja bile pogođene.

0:42 Logo na prozoru govori vam vrlo malo o tome koji backend vaš sljedeći klik treba. Prekid je počeo u četvrtak, s Microsoftom koji je isprva istraživao pristup poštanskim sandučićima u Amerikama. Zatim je potvrdio da korisnici u bilo kojoj regiji mogu biti pogođeni. CNN je izvijestio o problemima u bankama, vladama i sudovima. E-pošta koja nedostaje je nezgodna dok nečiji stvarni posao ovisi o njezinu dolasku. Microsoftovo rano objašnjenje bio je gubitak dostupnih poslužitelja.

Kako nedostatak kapaciteta preopterećuje uslugu?

1:06 Rad koji su ti strojevi trebali obaviti opteretio je preostalu infrastrukturu. Uslugu možete preopteretiti običnom potražnjom kada njezin kapacitet nestane. Red se produljuje čak i ako nitko iznenada nije otkrio strast za slanjem e-pošte. Tvrtka je zatim istražila automatizirane provjere ispravnosti. Ove provjere pomažu u odlučivanju može li poslužitelj preuzeti posao. Microsoft je rekao da bi komponenta koja obrađuje ispravnost poslužitelja mogla biti uključena. To je hipoteza iz istrage koja je još u tijeku.

1:29 Nemamo konačno izvješće o incidentu koje bi točno objasnilo zašto su ti poslužitelji prvi put postali nedostupni. Ažuriranja se čitaju kao smjena dežurstva koja progresivno

Što je Microsoft prvo pokušao?

1:37 manje zanima doručak. Pauzirajte implementacije. Premjestite promet. Ponovno pokrenite poslužitelje. Microsoft je potvrdio alternativnu provjeru ispravnosti koja je vratila podskup, i pripremio automatizirane sustave za otkrivanje i ponovno pokretanje neodgovornih strojeva. Svako ažuriranje opisivalo je pokušaj oporavka kapaciteta. Zatim je došao red koji objašnjava petlju oporavka. Microsoft je rekao da poslužitelji vraćeni u službu mogu ponovno postati neodgovarajući nakon što prime promet.

1:59 Stroj bi se mogao vratiti, primiti stvarni posao i prestati odgovarati. To je opažanje jači dokaz od bilo koje samopouzdane teorije u odgovorima. Zamislite isti poslužitelj kroz ta stanja. Nije dostupno. Vraćeno u službu. Preuzimanje prometa. Ponovno neodgovarajući. Ovo ilustrira Microsoftov prikaz. Što pokreće taj zadnji prijelaz ostaje bez odgovora. Ponovno pokretanje može proizvesti privremeno

2:18 poboljšanje dok se stanje koje poražava poslužitelj ostaje neriješeno. Savjet da ga isključite i ponovno uključite počinje naplaćivati prekovremeni rad. Inženjeri moraju provjeriti što se događa nakon povratka rada. Klijenti trebaju da usluga nastavi raditi kroz sljedeći zahtjev, i sljedeći. Microsoft je ograničio određeni promet koji je dosegao pogođenu infrastrukturu na nekim lokacijama. Također je ponovno izgradio podskup poslužitelja koristeći prethodnu konfiguraciju kako bi

2:39 testirao hoće li ostati odgovarajući. To su bili prijavljeni eksperimenti ublažavanja. Pauziranje implementacija tijekom oporavka ne daje nam dokaz da je petak implementacija uzrokovala originalni prekid.

Što je bilo poznato u trenutku prekida izvještavanja?

2:48 Do Microsoftovog petkovog ažuriranja u jedanaest i četiri UTC, radnje oporavka su završene u dijelovima Azije i Pacifika. Promet se postupno vraćao, s poboljšanjima u pristupu poštanskom sandučiću i odgođenom obradi e-pošte. Neki korisnici još uvijek mogu imati povremene probleme, a oporavak drugdje se nastavio. To je naš rok za izvještavanje. Microsoft je rekao da nema dokaza o zlonamjernoj aktivnosti, i obećao je potpuno izvješće o incidentu nakon ublažavanja.

3:10 Čekao bih to izvješće prije nego što dodijelim krivca. Detektivski rad na internetu može vam dati krivca prije nego što ste čak završili osvježavanje stranice. Za programere, Microsoft Graph čini ovisnost posebno lakom za promašaj.

Zašto jedan Graph zahtjev može propasti?

3:20 Njegovi zahtjevi za Exchange poštu, kalendar i kontakte mogli bi isteći. Vaša aplikacija može uspješno pozvati Graph za jednu operaciju i propasti na drugoj. Uspješan nepovezan zahtjev malo vam govori o tome hoće li se operacija poštanskog sandučića koju vaš korisnik treba dovršiti. Stranica statusa čak je trebala vlastiti izlaz. Microsoft je javno objavio informacije o incidentu jer administratori možda ne bi mogli učitao administratorsko središte kako bi pročitao zdravlje usluge. Kada nadzorna ploča za pronalaženje onoga što je pokvareno ovisi o onome što je pokvareno,

3:46 nadzorna ploča se pridružila incidentu. Neka izvanmrežna veza statusa bude dostupna. Za obično prigušivanje Grapha, Microsoftove smjernice kažu da se poštuje kašnjenje ponovnog pokušaja kada zahtjev dobije previše zahtjeva, i koristite eksponencijalno povlačenje kada to zaglavlje nedostaje. Te smjernice upravljaju prigušivanjem. Ne dijagnosticiraju ovaj prekid niti obećavaju da će ponovni pokušaji vratiti uslugu. Sada četrdeset osam sati.

Što donosi prozor za poštu od 48 sati?

4:05 Microsoftova proširena stranica statusa kaže da je prioritizirala obradu reda čekanja i zaostataka i produžila prozor vremenskog ograničenja e-pošte kako bi sačuvala odgođene poruke. To kupuje odgođenoj pošti više vremena tijekom oporavka. Postavlja prozor vremenskog ograničenja za poštu. Microsoft nije dao rok od četrdeset osam sati za popravak usluge, i nema jamstva da će svaka poruka stići. Stoga budite iskreni u vezi s tvrdnjama o isporuci. Odgođena obavijest nije nužno nestala,

4:28 i poruka u redu čekanja nije nužno stigla do primatelja. Za vremenski osjetljiv rad, provjerite ishod putem odobrenog neovisnog kanala. Klijentski prozor je optimistična potvrda isporuke kada se pozadina još uvijek oporavlja. Što ostavlja puno za čitanje u eventualnom izvješću o incidentu. Ako biste radije ovo pročitali nego čuli kako to govorim, "diff" vam stiže u pristiglu poštu svako jutro, besplatno na dailydiff.dev, poveznica ispod. Dakle, današnja presuda, POTREBAN PREGLED.

Što bi održivi oporavak trebao dokazati?

4:49 Držao bih oporavak pod pregledom jer su Microsoftova vlastita ažuriranja pokazala da su vraćeni poslužitelji propadali pod prometom. Korisni test je održiva usluga sa stvarnim radom koji prolazi. Do konačnog izvješća, početni uzrok ostaje otvoren. I to je "diff" za danas. Ja sam Niko iz Axrisija. Spojite odgovorno.

Izvori

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting