Microsoft Outlook atkopšana turpināja ciest neveiksmes satiksmes dēļ

Ko aptver šis video

• Pārbaudiet katras darbības aizmugures atkarību: lielākā daļa Teams pamatfunkciju un tieša SharePoint failu piekļuve palika funkcionāla, kamēr no Exchange atkarīgās funkcijas bija traucētas.
• Microsoft ziņoja, ka atgrieztie serveri varētu atkal kļūt nereaģējoši, kad satiksme tos sasniedza; tās veselības apstrādes komponenta skaidrojums palika hipotēze.
• Pagarinātais četrdesmit astoņu stundu e-pasta taimauts bija paredzēts, lai saglabātu aizkavēto pastu rindas un atpalicības apstrādes laikā. Tas nebija remonta termiņš vai universāla piegādes garantija.
• Parastā Graph ierobežošanas vadlīnijas iesaka ievērot Retry-After un eksponenciālu atpalicību, ja šī galvene nav klāt; tā nediagnosticē vai neizlabo šo incidentu.

Tulkotais transkripts

Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.

Kāpēc atgrieztie serveri atkal sabojājās?

0:00 Microsoft atgrieza pasta serverus ekspluatācijā. Tie varēja atkal pārtraukt reaģēt, kad atgriezās satiksme. Šeit ir izstrādātāju turpinājums. Šajā video, kāpēc atkopšana turpināja ciest neveiksmes? Un kuras jūsu lietotnes daļas joprojām darbojās? Microsoft arī deva aizkavētajam e-pastam četrdesmit astoņas stundas. Ko tas patiesībā jums dod? Ir piektdiena, trīspadsmitais novembris, un šis ir The Daily Diff.

0:18 Exchange Online ir Microsoft mitinātais e-pasta pakalpojums, un citas Microsoft trīs

Kuras funkcijas bija atkarīgas no Exchange?

0:22 simts sešdesmit piecas funkcijas ir atkarīgas no tā. Šeit ir noderīga atšķirība no Microsoft statusa lapas. Teams zvani un grupu tērzēšanas lielākoties darbojās. Kalendāra funkcijas un pieprasījumi pēc pastkastes datiem varēja neizdoties. Pārbaudiet atkarību, ko jūsu lietojumprogramma patiešām izmanto. Tas nozīmē, ka sapulce joprojām var notikt, kamēr kalendārs atsakās sadarboties. Tieša piekļuve failiem SharePoint arī palika funkcionāla, kamēr dažas koplietošanas funkcijas tika ietekmētas.

0:42 Logotips uz loga ļoti maz stāsta par to, kura aizmugures sistēma jūsu nākamajam klikšķim ir nepieciešama. Traucējumi sākās ceturtdien, Microsoft sākotnēji izmeklējot pastkastes piekļuvi Amerikā. Pēc tam tā apstiprināja, ka lietotāji jebkurā reģionā var tikt ietekmēti. CNN ziņoja par problēmām bankās, valdībās un tiesās. Trūkstošs e-pasts ir neērti, līdz kāda patiesais darbs ir atkarīgs no tā ierašanās. Microsoft sākotnējais skaidrojums bija pieejamo serveru zudums.

Kā trūkstošā jauda pārslogo pakalpojumu?

1:06 Darbs, ko šīm mašīnām vajadzēja veikt, noslogoja atlikušo infrastruktūru. Jūs varat pārslogot pakalpojumu ar parastu pieprasījumu, kad tā jauda pazūd. Rinda kļūst garāka, pat ja neviens pēkšņi nav atklājis aizraušanos ar e-pasta sūtīšanu. Uzņēmums pēc tam izmeklēja automatizētas veselības pārbaudes. Šīs pārbaudes palīdz izlemt, vai serveris var veikt darbu. Microsoft teica, ka varētu būt iesaistīts komponents, kas apstrādā servera veselību. Tā ir hipotēze no izmeklēšanas, kas joprojām notiek.

1:29 Mums nav galīgā incidenta ziņojuma, kas precīzi izskaidrotu, kāpēc šie serveri vispirms kļuva nepieejami. Atjauninājumi lasāmi kā dežūrējošā maiņa, kas pakāpeniski

Ko Microsoft mēģināja vispirms?

1:37 mazāk interesējas par brokastīm. Apturēt izvietojumus. Pārvietot satiksmi. Restartēt serverus. Microsoft apstiprināja alternatīvu veselības pārbaudi, kas atjaunoja apakškopu, un sagatavoja automatizētas sistēmas, lai atklātu un restartētu nereaģējošas mašīnas. Katrs atjauninājums aprakstīja mēģinājumu atgūt jaudu. Tad nāca rinda, kas izskaidro atkopšanas cilpu. Microsoft teica, ka serveri, kas atgriezās ekspluatācijā, varētu atkal kļūt nereaģējoši tiklīdz tie saņēma satiksmi.

1:59 Mašīna varēja atgriezties, saņemt reālu darbu un pārtraukt reaģēt. Šis novērojums ir spēcīgāks pierādījums nekā jebkura pārliecināta teorija atbildēs. Iztēlojieties to pašu serveri caur šiem stāvokļiem. Nepieejams. Atgriezts ekspluatācijā. Uztver satiksmi. Atkal nereaģē. Tas ilustrē Microsoft kontu. Kas izraisa šo pēdējo pāreju, joprojām nav atbildēts. Restartēšana var radīt īslaicīgu

2:18 uzlabojumu, kamēr apstāklis, kas traucē serverim, paliek neatrisināts. Padoms izslēgt un ieslēgt to atkal sāk maksāt virsstundas. Inženieriem jāpārbauda, kas notiek pēc darba atgriešanās. Klientiem ir nepieciešams, lai pakalpojums turpinātu darboties caur nākamo pieprasījumu, un nākamo. Microsoft ierobežoja noteiktu satiksmi, kas sasniedza skarto infrastruktūru dažās vietās. Tā arī pārbūvēja serveru apakškopu, izmantojot iepriekšējo konfigurāciju, lai

2:39 pārbaudītu, vai tie paliks reaģējoši. Tie bija ziņoti mazināšanas eksperimenti. Izvietošanas apturēšana atkopšanas laikā nedod mums pierādījumus, ka piektdienas izvietošana izraisīja sākotnējo pārtraukumu.

Kas bija zināms atskaites brīdī?

2:48 Pēc Microsoft piektdienas atjauninājuma plkst. vienpadsmit četri UTC, atkopšanas darbības bija pabeigtas Āzijas un Klusā okeāna daļās. Satiksme pakāpeniski atgriezās, ar uzlabojumiem pastkastes piekļuvē un aizkavētā e-pasta apstrādē. Daži lietotāji joprojām varēja saskarties ar neregulārām problēmām, un atkopšana citur turpinājās. Tas ir mūsu ziņošanas atskaites brīdis. Microsoft teica, ka tai nav pierādījumu par ļaunprātīgu darbību, un apsolīja pilnu incidenta ziņojumu pēc mazināšanas.

3:10 Es gaidītu šo ziņojumu pirms vainīgā noteikšanas. Interneta detektīvdarbs var dot jums vainīgo, pirms esat pat beidzis lapas atsvaidzināšanu. Izstrādātājiem Microsoft Graph padara atkarību īpaši viegli nepamanāmu.

Kāpēc viena Graph pieprasījums varēja neizdoties?

3:20 Tās pieprasījumi Exchange pastam, kalendāram un kontaktiem varēja beigties ar laiku. Jūsu lietojumprogramma var veiksmīgi izsaukt Graph vienai operācijai un neizdoties citā. Veiksmīgs nesaistīts pieprasījums maz stāsta par to, vai pastkastes operācija, kas nepieciešama jūsu lietotājam, tiks pabeigta. Statusa lapai pat bija nepieciešams savs evakuācijas ceļš. Microsoft publiski publicēja incidenta informāciju, jo administratori varēja būt nespējīgi ielādēt administrēšanas centru, lai lasītu pakalpojuma veselību. Kad panelis, lai uzzinātu, kas ir salauzts, ir atkarīgs no tā, kas ir salauzts,

3:46 panelis ir pievienojies incidentam. Turiet pieejamu ārpusjoslas statusa saiti. Parastai Graph ierobežošanai Microsoft vadlīnijas saka ievērot atkārtotas apstrādes kavēšanos, kad pieprasījums saņem "pārāk daudz pieprasījumu" atbildi, un izmantot eksponenciālu atpalicību, ja šī galvene nav klāt. Šīs vadlīnijas pārvalda ierobežošanu. Tā nediagnosticē šo pārtraukumu vai nesola, ka atkārtoti mēģinājumi atjaunos pakalpojumu. Tagad četrdesmit astoņas stundas.

Ko dod 48 stundu pasta logs?

4:05 Microsoft paplašinātā statusa lapa saka, ka tā prioritizēja rindas un atpalicības apstrādi un pagarināja e-pasta taimauta logu, lai saglabātu aizkavētos ziņojumus. Tas dod aizkavētajam pastam vairāk laika atkopšanas laikā. Tas nosaka pasta taimauta logu. Microsoft nedeva četrdesmit astoņu stundu termiņu pakalpojuma labošanai, un negarantēja, ka katrs ziņojums tiks piegādāts. Tāpēc saglabājiet piegādes apgalvojumus godīgus. Aizkavēts paziņojums nav obligāti pazudis,

4:28 un rindā esošais ziņojums nav obligāti sasniedzis saņēmēju. Laikietilpīgam darbam pārbaudiet rezultātu, izmantojot apstiprinātu neatkarīgu kanālu. Klienta logs ir optimistiska piegādes kvīts, kad aizmugures sistēma joprojām atgūstas. Kas atstāj daudz lasāmā galīgajā incidenta ziņojumā. Ja vēlaties to lasīt, nevis dzirdēt mani sakām, atšķirība nonāk jūsu iesūtnē katru rītu, bez maksas vietnē daily diff dot dev, saite zemāk. Tātad šodienas spriedums, NEPĀRBAUDĪTS.

Kas būtu jāpierāda ilgstošai atkopšanai?

4:49 Es turpinātu pārskatīt atkopšanu, jo Microsoft atjauninājumi parādīja, ka atgrieztie serveri sabojājas satiksmes dēļ. Noderīgais tests ir ilgstošs pakalpojums ar reālu darbu. Līdz galīgajam ziņojumam sākotnējais cēlonis paliek atvērts. Un tāda ir šodienas atšķirība. Esmu Niko no Axrisi. Apvienojiet atbildīgi.

Avoti

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting