Oporavak Microsoftovog Outlooka je stalno propadao pod opterećenjem

Šta ovaj video pokriva

• Provjerite pozadinsku ovisnost svake operacije: većina osnovnih Teams funkcionalnosti i direktan pristup SharePoint datotekama ostali su funkcionalni, dok su značajke ovisne o Exchangeu bile oštećene.
• Microsoft je izvijestio da vraćeni serveri mogu ponovno postati neodgovorni kada im stigne promet; objašnjenje komponente za obradu zdravlja ostalo je hipoteza.
• Produženi vremenski period odgođene e-pošte od četrdeset osam sati bio je namijenjen očuvanju odgođene pošte tokom obrade reda čekanja i zaostalih poruka. To nije bio rok za popravak niti univerzalna garancija isporuke.
• Uobičajene smjernice za Graph ograničavanje preporučuju poštivanje Retry-After i eksponencijalnog povlačenja kada taj zaglavlje nedostaje; to ne dijagnosticira niti popravlja ovaj incident.

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

Zašto su vraćeni serveri ponovo pali?

0:00 Microsoft je vratio servere za poštu u rad. Ponovo su mogli prestati reagovati kada bi se promet vratio. Evo nastavka za programere. U ovom videu, zašto se oporavak stalno prekidao? I koji dijelovi vaše aplikacije su još uvijek radili? Microsoft je također dao odgođenoj e-pošti četrdeset osam sati. Šta vam to zapravo donosi? Petak je, trinaesti novembar, i ovo je The Daily Diff.

0:18 Exchange Online je Microsoftova usluga e-pošte hostirana na oblaku, a druge Microsoft tri

Koje su značajke ovisile o Exchangeu?

0:22 šezdeset pet funkcija ovise o njoj. Evo korisne razlike sa Microsoftove stranice statusa. Timski pozivi i grupni chatovi su uglavnom radili. Kalendarske funkcije i zahtjevi za podacima poštanskog sandučića mogli su propasti. Provjerite ovisnost koju vaša aplikacija stvarno koristi. To znači da se sastanak još uvijek može održati dok kalendar odbija sarađivati. Direktan pristup datotekama u SharePointu također je ostao funkcionalan, dok su neke značajke dijeljenja bile pogođene.

0:42 Logo na prozoru vam vrlo malo govori o tome koji backend vaš sljedeći klik treba. Prekid je počeo u četvrtak, a Microsoft je u početku istraživao pristup poštanskim sandučićima u Americi. Zatim je potvrđeno da korisnici u bilo kojoj regiji mogu biti pogođeni. CNN je izvijestio o problemima u bankama, vladama i sudovima. E-pošta koja nedostaje je neugodna dok nečiji stvarni posao ne ovisi o njenom dolasku. Microsoftovo rano objašnjenje bio je gubitak dostupnih servera.

Kako nedostajući kapacitet preopterećuje uslugu?

1:06 Rad koji su te mašine trebale obaviti opteretio je preostalu infrastrukturu. Možete preopteretiti uslugu običnom potražnjom kada njena kapacitet nestane. Red se produžava čak i ako niko nije iznenada otkrio strast za slanjem e-pošte. Kompanija je zatim istražila automatizirane provjere zdravlja. Ove provjere pomažu da se odluči može li server preuzeti posao. Microsoft je rekao da bi komponenta koja obrađuje zdravlje servera mogla biti uključena. To je hipoteza iz istrage koja je još uvijek u toku.

1:29 Nemamo konačan izvještaj o incidentu koji bi tačno objasnio zašto su ti serveri prvo postali nedostupni. Ažuriranja zvuče kao smjena dežurnog tima koja progresivno

Šta je Microsoft prvo pokušao?

1:37 manje zanima doručak. Pauzirajte implementacije. Premjestite promet. Ponovno pokrenite servere. Microsoft je potvrdio alternativnu provjeru zdravlja koja je vratila podskup, i pripremio automatizirane sisteme za otkrivanje i ponovno pokretanje neodgovarajućih mašina. Svako ažuriranje opisuje pokušaj oporavka kapaciteta. Zatim je došao red koji objašnjava petlju oporavka. Microsoft je rekao da serveri vraćeni u službu mogu ponovno postati neodgovorni kada prime promet.

1:59 Mašina bi se mogla vratiti, primiti stvarni rad i prestati odgovarati. To opažanje je jači dokaz od bilo čije sigurne teorije u odgovorima. Zamislite isti server kroz ta stanja. Nedostupno. Vraćeno u službu. Preuzimanje prometa. Ponovno neodgovorno. Ovo ilustruje Microsoftov izvještaj. Šta pokreće tu posljednju tranziciju ostaje neodgovoreno. Ponovno pokretanje može proizvesti privremeno

2:18 poboljšanje dok stanje koje poražava server ostaje neriješeno. Savjet da se isključi i ponovo uključi počinje da se naplaćuje prekovremeno. Inženjeri moraju provjeriti što se događa nakon povratka posla. Kupcima je potrebna usluga da nastavi raditi kroz sljedeći zahtjev, i sljedeći. Microsoft je ograničio određeni promet koji dolazi do pogođene infrastrukture na nekim lokacijama. Također je ponovno izgradio podskup servera koristeći prethodnu konfiguraciju kako bi

2:39 testirao da li će ostati odzivni. To su bili prijavljeni eksperimenti za ublažavanje. Pauziranje implementacija tokom oporavka nam ne daje dokaz da je petak implementacija uzrokovala originalni prekid.

Šta se znalo u trenutku prekida izvještavanja?

2:48 Prema Microsoftovom ažuriranju u petak u jedanaest i četiri UTC, radnje oporavka su završene u dijelovima Azijsko-pacifičke regije. Promet se postepeno vraćao, s poboljšanjima u pristupu poštanskom sandučiću i obradi odgođene e-pošte. Neki korisnici su se i dalje mogli suočavati s povremenim problemima, a oporavak drugdje se nastavio. To je naš prekid izvještavanja. Microsoft je rekao da nema dokaza o zlonamjernoj aktivnosti, i obećao potpuni izvještaj o incidentu nakon ublažavanja.

3:10 Čekao bih taj izvještaj prije nego što dodijelim krivca. Detektivski rad na internetu može vam dati krivca prije nego što ste čak i završili osvježavanje stranice. Za programere, Microsoft Graph čini ovisnost posebno lako propustiti.

Zašto jedan Graph zahtjev može propasti?

3:20 Njegovi zahtjevi za Exchange mail, kalendar i kontakte mogli su isteći. Vaša aplikacija može uspješno pozvati Graph za jednu operaciju i propasti na drugoj. Uspješan nepovezan zahtjev malo vam govori o tome hoće li se operacija poštanskog sandučića koju vaš korisnik treba dovršiti. Stranica statusa čak je trebala vlastiti izlaz. Microsoft je javno objavio informacije o incidentu jer administratori možda ne bi mogli učitali administrativni centar kako bi pročitali status usluge. Kada kontrolna ploča za otkrivanje šta je pokvareno ovisi o onome što je pokvareno,

3:46 kontrolna ploča se pridružila incidentu. Neka izvanredna veza statusa bude dostupna. Za obično Graph ograničavanje, Microsoftove smjernice kažu da se poštuje ponovno pokušavanje odgode kada zahtjev dobije odgovor "previše zahtjeva", i koristite eksponencijalno povlačenje kada to zaglavlje nedostaje. Te smjernice upravljaju ograničavanjem. Ne dijagnosticiraju ovaj prekid niti obećavaju da će ponovni pokušaji vratiti uslugu. Sada četrdeset osam sati.

Šta nam donosi 48-satni prozor za poštu?

4:05 Microsoftova proširena stranica statusa kaže da je prioritizirala red čekanja i obradu zaostataka i produžila vremenski prozor za e-poštu kako bi se sačuvale odgođene poruke. To kupuje odgođenoj pošti više vremena tokom oporavka. Postavlja vremenski prozor za e-poštu. Microsoft nije dao rok od četrdeset osam sati za popravak usluge, i nema garancije da će svaka poruka stići. Zato držite tvrdnje o isporuci iskrenim. Odgođena obavijest nije nužno nestala,

4:28 i poruka u redu čekanja nije nužno stigla do svog primaoca. Za vremenski osjetljiv posao, provjerite ishod putem odobrenog nezavisnog kanala. Klijentski prozor je optimistična potvrda isporuke kada se pozadina još uvijek oporavlja. Što ostavlja mnogo za čitanje u konačnom izvještaju o incidentu. Ako biste ovo radije pročitali nego čuli, "diff" vam stiže u inbox svako jutro, besplatno na thedailyff.dev, link ispod. Tako da je današnja presuda, POTREBNA PROVJERA.

Šta bi održivi oporavak trebao dokazati?

4:49 Oporavak bih držao pod revizijom jer su Microsoftova vlastita ažuriranja pokazala da su vraćeni serveri padali pod prometom. Korisni test je održiva usluga sa stvarnim radom koji prolazi. Do konačnog izvještaja, početni uzrok ostaje otvoren. I to je to za danas. Ja sam Niko iz Axrisija. Spojite odgovorno.

Izvori

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting