Oporavak Microsoftovog Outlooka je stalno propadao pod opterećenjem saobraćaja

Šta ovaj video pokriva

• Proverite pozadinsku zavisnost svake operacije: većina osnovnih funkcija Teams-a i direktan pristup fajlovima na SharePoint-u ostali su funkcionalni, dok su funkcije zavisne od Exchange-a bile oštećene.
• Microsoft je izvestio da bi vraćeni serveri ponovo mogli postati neodgovarajući kada im saobraćaj stigne; objašnjenje komponente za obradu zdravlja ostalo je hipoteza.
• Produženo četrdesetosatno vremensko ograničenje za e-poštu bilo je namenjeno očuvanju odložene pošte tokom obrade redova čekanja i zaostalih poruka. To nije bio rok za popravku ili univerzalna garancija isporuke.
• Uobičajeno uputstvo za Graph ograničavanje preporučuje poštovanje Retry-After i eksponencijalnog povlačenja kada taj zaglavlje nedostaje; ono ne dijagnostikuje niti popravlja ovaj incident.

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

Zašto su vraćeni serveri ponovo otkazivali?

0:00 Microsoft je vratio mail servere u rad. Mogli bi ponovo prestati da reaguju kada se saobraćaj vrati. Evo nastavka za programere. U ovom videu, zašto se oporavak stalno prekidao? I koji delovi vaše aplikacije su i dalje radili? Microsoft je takođe dao odloženoj e-pošti četrdeset osam sati. Šta vam to zapravo donosi? Petak je, trinaesti novembar, i ovo je The Daily Diff.

0:18 Exchange Online je Microsoftov hostovani servis za e-poštu, i druge Microsoftove tri

Koje funkcije su zavisile od Exchange-a?

0:22 stotine šezdeset pet funkcija zavise od njega. Evo korisne razlike sa Microsoftove stranice statusa. Teams pozivi i grupni ćaskanja su uglavnom radili. Funkcije kalendara i zahtevi za podatke iz poštanskog sandučeta mogli su da zakažu. Proverite zavisnost koju vaša aplikacija zapravo koristi. To znači da sastanak može i dalje da se održi dok kalendar odbija da sarađuje. Direktan pristup fajlovima u SharePointu je takođe ostao funkcionalan, dok su neke funkcije deljenja bile pogođene.

0:42 Logo na prozoru vam vrlo malo govori o tome koji backend vaš sledeći klik zahteva. Prekid je počeo u četvrtak, a Microsoft je inicijalno istraživao pristup poštanskom sandučetu u Amerikama. Zatim je potvrdio da korisnici u bilo kojoj regiji mogu biti pogođeni. CNN je izvestio o problemima u bankama, vladama i sudovima. Nedostajeća e-pošta je nezgodna dok nečiji stvarni posao ne zavisi od njenog dolaska. Microsoftovo rano objašnjenje bio je gubitak dostupnih servera.

Kako nedostatak kapaciteta preopterećuje uslugu?

1:06 Posao koji su te mašine trebale da obrade opteretio je preostalu infrastrukturu. Uslugu možete preopteretiti običnom potražnjom kada njen kapacitet nestane. Red se produžava čak i ako niko iznenada nije otkrio strast za slanjem e-pošte. Kompanija je zatim istraživala automatske provere zdravlja. Ove provere pomažu u odlučivanju da li server može preuzeti posao. Microsoft je rekao da bi komponenta koja obrađuje zdravlje servera mogla biti uključena. To je hipoteza iz istrage koja je još u toku.

1:29 Nemamo konačan izveštaj o incidentu koji tačno objašnjava zašto su ti serveri prvi put postali nedostupni. Ažuriranja zvuče kao smena na pozivu koja je progresivno

Šta je Microsoft prvo pokušao?

1:37 manje zainteresovana za doručak. Pauzirajte raspoređivanja. Premestite saobraćaj. Restartujte servere. Microsoft je potvrdio alternativnu proveru zdravlja koja je vratila podskup, i pripremio automatske sisteme za detekciju i restartovanje neodgovarajućih mašina. Svako ažuriranje opisuje pokušaj oporavka kapaciteta. Onda je došla rečenica koja objašnjava petlju oporavka. Microsoft je rekao da serveri vraćeni u rad mogu ponovo postati neodgovarajući kada prime saobraćaj.

1:59 Mašina bi se mogla vratiti, primiti stvarni posao i prestati da reaguje. To zapažanje je jači dokaz od bilo čije samouverene teorije u odgovorima. Zamislite isti server kroz ta stanja. Nedostupno. Vraćeno u rad. Prima saobraćaj. Ponovo neodgovara. Ovo ilustruje Microsoftov izveštaj. Šta pokreće tu poslednju tranziciju ostaje neodgovoreno. Restartovanje može proizvesti privremeno

2:18 poboljšanje dok uslov koji poražava server ostaje nerešen. Savet da ga isključite i ponovo uključite počinje da naplaćuje prekovremeni rad. Inženjeri moraju proveriti šta se dešava nakon povratka posla. Korisnicima je potrebna usluga da nastavi da radi kroz sledeći zahtev, i sledeći. Microsoft je ograničio određeni saobraćaj koji stiže do pogođene infrastrukture na nekim lokacijama. Takođe je ponovo izgradio podskup servera koristeći prethodnu konfiguraciju kako bi

2:39 testirao da li će ostati odzivni. To su bili prijavljeni eksperimenti za ublažavanje. Pauziranje primena tokom oporavka ne daje nam dokaz da je petak primena izazvala originalni prekid.

Šta je bilo poznato u trenutku prekida izveštavanja?

2:48 Prema Microsoftovom ažuriranju u petak u jedanaest i četiri UTC, akcije oporavka su završene u delovima Azije i Pacifika. Saobraćaj se postepeno vraćao, sa poboljšanjima u pristupu poštanskom sandučetu i obradi odložene e-pošte. Neki korisnici bi i dalje mogli da se suočavaju sa povremenim problemima, a oporavak drugde je nastavljen. To je naš prekid izveštavanja. Microsoft je rekao da nema dokaza o zlonamernoj aktivnosti, i obećao potpuni izveštaj o incidentu nakon ublažavanja.

3:10 Čekao bih taj izveštaj pre nego što bih dodelio zlikovca. Detektivski rad na internetu može vam dati krivca pre nego što ste uopšte završili osvežavanje stranice. Za programere, Microsoft Graph čini zavisnost posebno lakom za propustiti.

Zašto jedan Graph zahtev može propasti?

3:20 Njegovi zahtevi za Exchange poštu, kalendar i kontakte mogli su da isteknu. Vaša aplikacija može uspešno pozvati Graph za jednu operaciju i propasti za drugu. Uspešan nepovezan zahtev vam malo govori o tome da li će se operacija poštanskog sandučeta koju vaš korisnik treba završiti. Stranica statusa je čak trebala sopstveni izlaz. Microsoft je javno objavio informacije o incidentu jer administratori možda neće moći da učitaju administratorski centar da pročitaju zdravlje usluge. Kada kontrolna tabla za pronalaženje onoga što je pokvareno zavisi od onoga što je pokvareno,

3:46 kontrolna tabla se pridružila incidentu. Držite vanpojasnu vezu za status dostupnom. Za obično Graph ograničavanje, Microsoftovo uputstvo kaže da se poštuje ponovni pokušaj odlaganja kada zahtev dobije previše odgovora na zahteve, i da se koristi eksponencijalno povlačenje kada to zaglavlje nedostaje. To uputstvo upravlja ograničavanjem. Ono ne dijagnostikuje ovaj prekid niti obećava da ponovni pokušaji obnavljaju uslugu. Sada četrdeset osam sati.

Šta dobijamo sa 48-satnim prozorom za poštu?

4:05 Microsoftova proširena stranica statusa kaže da je prioritet dala obradi reda čekanja i zaostalih poruka i produžila prozor za vremensko ograničenje e-pošte radi očuvanja odloženih poruka. To kupuje odloženoj pošti više vremena tokom oporavka. Postavlja prozor za vremensko ograničenje pošte. Microsoft nije dao rok od četrdeset osam sati za popravku usluge, i nije dao garanciju da će svaka poruka stići. Zato budite iskreni u tvrdnjama o isporuci. Odložena notifikacija nije nužno nestala,

4:28 i poruka u redu čekanja nije nužno stigla do svog primaoca. Za vremenski osetljiv posao, proverite ishod putem odobrenog nezavisnog kanala. Klijentski prozor je optimistična potvrda isporuke kada se backend još uvek oporavlja. Što ostavlja dosta za čitanje u eventualnom izveštaju o incidentu. Ako biste radije ovo pročitali nego čuli, "diff" vam stiže u inbox svakog jutra, besplatno na thedailydiff.dev, link ispod. Dakle, današnja presuda, POTREBNA JE PROVERA.

Šta bi održivi oporavak trebalo da dokaže?

4:49 Držao bih oporavak pod lupom jer su Microsoftova ažuriranja pokazala da su vraćeni serveri otkazivali pod opterećenjem. Korisni test je održiva usluga sa stvarnim poslom koji prolazi. Dok se ne objavi konačni izveštaj, početni uzrok ostaje otvoren. I to je to za danas. Ja sam Niko iz Axrisi. Spojte odgovorno.

Izvori

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting