Microsoft "Outlook" atkūrimas nuolat nepavykdavo dėl srauto

Kas aptariama šiame vaizdo įraše

• Patikrinkite kiekvienos operacijos užpakalinę priklausomybę: dauguma pagrindinių "Teams" funkcijų ir tiesioginė "SharePoint" failų prieiga išliko funkcionali, o nuo "Exchange" priklausomos funkcijos buvo sutrikusios.
• "Microsoft" pranešė, kad sugrąžinti serveriai vėl gali tapti nereaguojantys, kai juos pasiekia srautas; jų sveikatos apdorojimo komponento paaiškinimas išliko hipoteze.
• Išplėstas keturiasdešimt aštuonių valandų el. pašto laiko limitas buvo skirtas išsaugoti uždelstą paštą eilės ir užduočių apdorojimo metu. Tai nebuvo remonto terminas ar visuotinė pristatymo garantija.
• Įprastos "Graph" ribojimo gairės rekomenduoja atsižvelgti į "Retry-After" ir eksponentinį atsitraukimą, kai ši antraštė nėra; jos nedianozuoja ir netaiso šio incidento.

Išverstas transkriptas

Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.

Kodėl sugrąžinti serveriai vėl sugedo?

0:00 "Microsoft" sugrąžino pašto serverius į tarnybą. Jie vėl galėjo nustoti reaguoti, kai grįš srautas. Čia yra kūrėjų tęsinys. Šiame vaizdo įraše, kodėl atkūrimas nuolat nepavykdavo? Ir kurios jūsų programos dalys vis dar veikė? "Microsoft" taip pat suteikė uždelstam el. paštui keturiasdešimt aštuonias valandas. Ką tai iš tikrųjų duoda? Šiandien penktadienis, lapkričio tryliktoji, ir tai yra "The Daily Diff".

0:18 "Exchange Online" yra "Microsoft" hostuojama el. pašto paslauga, ir kitos "Microsoft" trys

Kurios funkcijos priklausė nuo "Exchange"?

0:22 šimtai šešiasdešimt penkios funkcijos priklauso nuo jos. Štai naudingas skirtumas iš "Microsoft" būsenos puslapio. Dauguma "Teams" skambučių ir grupinių pokalbių veikė. Kalendoriaus funkcijos ir užklausos dėl pašto dėžutės duomenų galėjo nepavykti. Patikrinkite priklausomybę, kurią jūsų programa iš tikrųjų naudoja. Tai reiškia, kad susitikimas vis dar gali įvykti, kol kalendorius atsisako bendradarbiauti. Tiesioginė prieiga prie failų "SharePoint" taip pat išliko funkcionali, nors kai kurios bendrinimo funkcijos buvo paveiktos.

0:42 Logotipas lange labai mažai pasako apie tai, kokio galinio serverio reikės kitam jūsų paspaudimui. Sutrikimas prasidėjo ketvirtadienį, "Microsoft" iš pradžių tyrė pašto dėžutės prieigą Amerikoje. Tada ji patvirtino, kad vartotojai bet kuriame regione gali būti paveikti. CNN pranešė apie problemas bankuose, vyriausybėse ir teismuose. Trūkstamas el. laiškas yra nepatogus, kol kieno nors tikras darbas nepriklauso nuo jo atvykimo. Ankstyvas "Microsoft" paaiškinimas buvo prarasti prieinami serveriai.

Kaip trūkstanti talpa perkrauna paslaugą?

1:06 Darbas, kurį turėjo atlikti šios mašinos, apkrovė likusią infrastruktūrą. Galite perkrauti paslaugą įprasta paklausa, kai jos talpa dingsta. Eilė ilgėja, net jei niekas staiga nepasikeitė atrado aistrą siųsti el. laiškus. Tada įmonė tyrė automatinius sveikatos patikrinimus. Šie patikrinimai padeda nuspręsti, ar serveris gali atlikti darbą. "Microsoft" teigė, kad gali būti susijęs komponentas, apdorojantis serverio būklę. Tai yra hipotezė iš tebevykstančio tyrimo.

1:29 Neturime galutinio incidento ataskaitos, paaiškinančios, kodėl tie serveriai pirmą kartą tapo nepasiekiami. Atnaujinimai skaitomi kaip budinčiojo pamaina, kuri vis mažiau

Ką "Microsoft" bandė pirmiausia?

1:37 domisi pusryčiais. Pristabdyti diegimus. Perstumti srautą. Perkrauti serverius. "Microsoft" patvirtino alternatyvų sveikatos patikrinimą, kuris sugrąžino dalis, ir paruošė automatines sistemas aptikti ir perkrauti nereaguojančias mašinas. Kiekviename atnaujinime buvo aprašomas bandymas atkurti talpą. Tada atėjo eilutė, paaiškinanti atkūrimo kilpą. "Microsoft" teigė, kad į tarnybą grįžę serveriai vėl gali tapti nereaguojantys kai gaus srautą.

1:59 Mašina galėjo grįžti, gauti tikrą darbą ir nustoti reaguoti. Šis pastebėjimas yra stipresnis įrodymas nei bet kokia patikima teorija atsakymuose. Įsivaizduokite tą patį serverį per šias būsenas. Nepasiekiama. Grąžinta į tarnybą. Priima srautą. Vėl nereaguojantis. Tai iliustruoja "Microsoft" ataskaitą. Kas sukelia tą paskutinį perėjimą, lieka neatsakyta. Perkrovimas gali sukelti laikiną

2:18 pagerėjimą, kol būklė, kuri įveikia serverį, lieka neišspręsta. Patarimas išjungti ir vėl įjungti pradeda skaičiuoti viršvalandžius. Inžinieriai turi patikrinti, kas atsitiks po to, kai darbas grįš. Klientams reikia, kad paslauga veiktų toliau po kito užklausos, ir kitos. "Microsoft" apribojo tam tikrą srautą, pasiekiantį paveiktą infrastruktūrą kai kuriose vietose. Ji taip pat atstatė dalį serverių, naudodama ankstesnę konfigūraciją, kad

2:39 patikrintų, ar jie išliks reaguojantys. Tai buvo pranešta apie bandymus sumažinti problemas. Pristabdę diegimus atkūrimo metu, mes neturime įrodymų, kad penktadienio diegimas sukėlė pradinį sutrikimą.

Kas buvo žinoma ataskaitos pateikimo metu?

2:48 Pagal "Microsoft" penktadienio atnaujinimą 11:04 UTC, atkūrimo veiksmai buvo baigti Azijos ir Ramiojo vandenyno regionuose. Srautas pamažu grįžo, pagerėjo pašto dėžutės prieiga ir uždelsto el. pašto apdorojimas. Kai kurie vartotojai vis dar galėjo susidurti su pertrūkiais veikiančiomis problemomis, o atkūrimas kitur tęsėsi. Tai yra mūsų ataskaitos pateikimo pabaiga. "Microsoft" teigė, kad neturi jokių piktavališkos veiklos įrodymų, ir pažadėjo išsamią incidento ataskaitą po problemos sprendimo.

3:10 Laukčiau tos ataskaitos, prieš priskirdamas kaltininką. Interneto detektyvų darbas gali duoti jums kaltininką, kol dar nespėjote atnaujinti puslapio. Kūrėjams "Microsoft Graph" daro priklausomybę ypač lengvai praleidžiamą.

Kodėl viena "Graph" užklausa galėjo nepavykti?

3:20 Jos užklausos dėl "Exchange" pašto, kalendoriaus ir kontaktų galėjo pasiekti laiko limitą. Jūsų programa gali sėkmingai iškviesti "Graph" vienai operacijai ir nepavykti atliekant kitą. Sėkminga nesusijusi užklausa mažai ką pasako apie tai, ar pašto dėžutės operacija, kurios reikia jūsų vartotojui, bus baigta. Būsenos puslapiui netgi reikėjo savo pabėgimo kelio. "Microsoft" viešai paskelbė informaciją apie incidentą, nes administratoriai gali būti negalėdami įkelti administratoriaus centro, kad perskaitytų paslaugos būklę. Kai prietaisų skydelis, skirtas sužinoti, kas sugedo, priklauso nuo to, kas sugedo,

3:46 prietaisų skydelis prisijungė prie incidento. Laikykite prieinamą išorinę būsenos nuorodą. Įprastam "Graph" ribojimui "Microsoft" gairės nurodo atsižvelgti į pakartotinio bandymo delsimą, kai užklausa gauna per daug užklausų atsakymą, ir naudoti eksponentinį atsitraukimą, kai ši antraštė nėra. Šios gairės valdo ribojimą. Jos nedianozuoja šio sutrikimo ir nežada, kad pakartotiniai bandymai atkuria paslaugą. Dabar keturiasdešimt aštuonios valandos.

Ką duoda 48 valandų pašto langas?

4:05 "Microsoft" išplėstame būsenos puslapyje teigiama, kad ji prioritetą teikė eilės ir užduočių apdorojimui ir išplėtė el. pašto laiko limito langą, kad išsaugotų uždelstus pranešimus. Tai suteikia uždelstam paštui daugiau laiko atkūrimo metu. Tai nustato pašto laiko limito langą. "Microsoft" nenustatė keturiasdešimt aštuonių valandų termino paslaugai pataisyti, ir negarantavo, kad kiekvienas pranešimas bus pristatytas. Taigi, sąžiningai teikite pristatymo reikalavimus. Uždelstas pranešimas nebūtinai dingo,

4:28 o eilėje laukiantis pranešimas nebūtinai pasiekė savo gavėją. Laiko jautriam darbui patikrinkite rezultatą patvirtintu nepriklausomu kanalu. Kliento langas yra optimistiškas pristatymo patvirtinimas, kai galinis serveris dar atsigauna. Tai palieka daug skaityti galutinėje incidento ataskaitoje. Jei norėtumėte tai perskaityti, o ne girdėti, kaip aš tai sakau, "diff" atkeliauja į jūsų pašto dėžutę kiekvieną rytą, nemokamai daily diff dot dev, nuoroda žemiau. Taigi šiandienos verdiktas, REIKIA PERŽIŪRĖTI.

Ką reikėtų įrodyti, kad atkūrimas būtų tvarus?

4:49 Atkūrimą laikyčiau peržiūros stadijoje, nes pačios "Microsoft" atnaujinimai parodė, kad sugrąžinti serveriai nepavykdavo dėl srauto. Naudingas testas yra tvarus aptarnavimas su tikru darbu. Kol nebus galutinės ataskaitos, pradinė priežastis lieka atvira. Ir tai yra šiandienos skirtumas. Aš esu Niko iš Axrisi. Sujungti atsakingai.

Šaltiniai

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting