Ang pagbawi ng Outlook ng Microsoft ay patuloy na nabibigo sa ilalim ng trapiko

Ang sakop ng video na ito

• Suriin ang backend dependency ng bawat operasyon: karamihan sa pangunahing paggana ng Teams at direktang pag-access ng file sa SharePoint ay nanatiling gumagana, habang ang mga tampok na dependent sa Exchange ay may kapansanan.
• Iniulat ng Microsoft na ang mga naibalik na server ay maaaring maging hindi tumutugon muli kapag naabot sila ng trapiko; ang paliwanag nito sa bahagi ng pagproseso ng kalusugan ay nanatiling isang hypothesis.
• Ang extended forty-eight-hour email timeout ay nilayon upang mapanatili ang mga naantala na mail sa panahon ng queue at backlog processing. Hindi ito deadline ng pag-aayos o unibersal na garantiya ng paghahatid.
• Ang ordinaryong gabay sa Graph throttling ay nagrekomenda ng paggalang sa Retry-After at exponential backoff kapag wala ang header na iyon; hindi nito siniyasat o inaayos ang insidente na ito.

Isinaling transcript

Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.

Bakit nabigo muli ang mga naibalik na server?

0:00 Ibinalik ng Microsoft ang mga mail server sa serbisyo. Maaari silang huminto muli sa pagtugon kapag bumalik ang trapiko. Narito ang follow-up ng developer. Sa video na ito, bakit patuloy na nabibigo ang pagbawi? At aling bahagi ng iyong app ang gumagana pa rin? Binigyan din ng Microsoft ng apatnapu't walong oras ang mga naantala na email. Ano ang talagang nabibili nito para sa iyo? Biyernes na, Nobyembre labintatlo, at ito ang The Daily Diff.

0:18 Ang Exchange Online ay ang hosted email service ng Microsoft, at iba pang Microsoft three

Aling mga tampok ang nakasalalay sa Exchange?

0:22 sixty-five na feature ay nakasalalay dito. Narito ang kapaki-pakinabang na pagkakaiba mula sa status page ng Microsoft. Karamihan sa mga tawag at group chat ng Teams ay gumana. Ang mga tampok ng kalendaryo at mga kahilingan para sa data ng mailbox ay maaaring mabigo. Suriin ang dependency na talagang ginagamit ng iyong application. Ibig sabihin, maaaring magpatuloy ang isang pulong habang tumatanggi ang kalendaryo na makipagtulungan. Ang direktang pag-access sa mga file sa SharePoint ay nanatili ring gumagana, habang ang ilang mga tampok sa pagbabahagi ay naapektuhan.

0:42 Ang logo sa window ay nagsasabi sa iyo ng napakaliit tungkol sa kung aling backend ang susunod mong pag-click ay nangangailangan. Nagsimula ang pagkaantala noong Huwebes, na unang sinisiyasat ng Microsoft ang pag-access ng mailbox sa Americas. Pagkatapos ay kinumpirma nito na ang mga user sa anumang rehiyon ay maaaring maapektuhan. Iniulat ng CNN ang mga problema sa mga bangko, gobyerno at korte. Ang nawawalang email ay hindi maginhawa hangga't hindi nakasalalay dito ang totoong trabaho ng isang tao na dumating. Ang maagang paliwanag ng Microsoft ay ang pagkawala ng mga available na server.

Paano overloaded ang isang serbisyo dahil sa nawawalang kapasidad?

1:06 Ang trabaho na dapat sana ay hinawakan ng mga makinang iyon ay nagpahirap sa natitirang imprastraktura. Maaari mong i-overload ang isang serbisyo sa ordinaryong demand kapag ang kapasidad nito ay nawala. Hahaba ang pila kahit na walang biglang nakatuklas ng passion sa pagpapadala ng email. Pagkatapos ay sinuri ng kumpanya ang mga awtomatikong pagsusuri sa kalusugan. Ang mga pagsusuring ito ay nakakatulong na magpasya kung ang isang server ay maaaring kumuha ng trabaho. Sinabi ng Microsoft na maaaring kasama ang isang component na nagpoproseso ng kalusugan ng server. Iyan ay isang hypothesis mula sa isang imbestigasyon na ginagawa pa rin.

1:29 Wala kaming pinal na ulat ng insidente na nagpapaliwanag kung bakit unang naging hindi available ang mga server na iyon. Ang mga update ay parang isang on-call shift na unti-unting

Ano ang unang sinubukan ng Microsoft?

1:37 bumababa ang interes sa almusal. I-pause ang mga deployment. Ilipat ang trapiko. I-restart ang mga server. Pinatunayan ng Microsoft ang isang alternatibong pagsusuri sa kalusugan na nagpabalik ng isang subset, at naghanda ng mga awtomatikong sistema upang makita at i-restart ang mga hindi tumutugon na makina. Inilarawan ng bawat update ang isang pagtatangka upang mabawi ang kapasidad. Pagkatapos ay dumating ang linya na nagpapaliwanag ng recovery loop. Sinabi ng Microsoft na ang mga server na naibalik sa serbisyo ay maaaring maging hindi tumutugon muli kapag nakatanggap sila ng trapiko.

1:59 Maaaring bumalik ang isang makina, makatanggap ng totoong trabaho, at huminto sa pagtugon. Ang obserbasyong iyon ay mas matibay na ebidensya kaysa sa kumpiyansang teorya ng sinuman sa mga tugon. Ilarawan ang parehong server sa pamamagitan ng mga estadong iyon. Hindi available. Naibalik sa serbisyo. Kumukuha ng trapiko. Hindi tumutugon muli. Ipinapakita nito ang account ng Microsoft. Kung ano ang nag-trigger ng huling transisyon ay nananatiling hindi nasasagot. Ang pag-restart ay maaaring makagawa ng pansamantalang

2:18 pagpapabuti habang ang kundisyon na nagpapabagsak sa server ay nananatiling hindi nalutas. Ang payo na patayin at i-on muli ay nagsisimulang magkolekta ng overtime. Kailangang suriin ng mga inhinyero kung ano ang mangyayari pagkatapos bumalik ang trabaho. Kailangan ng mga customer ang serbisyo upang patuloy na gumana sa susunod na kahilingan, at sa susunod pa. Nilimitahan ng Microsoft ang ilang trapiko na umaabot sa apektadong imprastraktura sa ilang lokasyon. Muling itinayo rin nito ang isang subset ng mga server gamit ang nakaraang configuration upang

2:39 subukan kung mananatili silang tumutugon. Iyon ay mga naiulat na eksperimento sa pagpapagaan. Ang pagpapahinto ng mga deployment sa panahon ng pagbawi ay hindi nagbibigay sa atin ng ebidensya na ang isang Biyernes na deployment ang naging sanhi ng orihinal na outage.

Ano ang nalalaman sa reporting cutoff?

2:48 Sa update ng Microsoft noong Biyernes alas onse oh four UTC, natapos na ang mga aksyon sa pagbawi sa ilang bahagi ng Asia Pacific. Unti-unting bumalik ang trapiko, na may mga pagpapabuti sa pag-access ng mailbox at naantala na pagproseso ng email. Ang ilang user ay maaari pa ring makaranas ng mga isyung paminsan-minsan, at nagpatuloy ang pagbawi sa ibang lugar. Iyan ang ating reporting cutoff. Sinabi ng Microsoft na wala itong ebidensya ng malisyosong aktibidad, at nangako ng isang buong ulat ng insidente pagkatapos ng pagpapagaan.

3:10 Hihintayin ko ang ulat na iyon bago magtalaga ng isang kontrabida. Ang paghahanap ng internet ay maaaring magbigay sa iyo ng may kasalanan bago mo pa man natapos ang pag-refresh ng pahina. Para sa mga developer, ginagawang lalong madaling makaligtaan ng Microsoft Graph ang dependency.

Bakit maaaring mabigo ang isang kahilingan sa Graph?

3:20 Maaaring mag-time out ang mga kahilingan nito para sa mail, kalendaryo at kontak ng Exchange. Maaaring matagumpay na tawagan ng iyong application ang Graph para sa isang operasyon at mabigo sa isa pa. Ang matagumpay na hindi nauugnay na kahilingan ay nagsasabi sa iyo ng maliit tungkol sa kung ang operasyon ng mailbox na kailangan ng iyong user ay matatapos. Kailangan pa ng status page ng sarili nitong escape route. Nag-post ang Microsoft ng impormasyon ng insidente sa publiko dahil maaaring hindi mai-load ng mga administrator ang admin center upang basahin ang kalusugan ng serbisyo. Kapag ang dashboard para sa pagtuklas kung ano ang sira ay nakasalalay sa kung ano ang sira,

3:46 sumama na ang dashboard sa insidente. Panatilihing available ang isang out-of-band status link. Para sa ordinaryong Graph throttling, sinasabi ng gabay ng Microsoft na igalang ang pagkaantala sa pagsubok muli kapag nakakuha ng napakaraming kahilingan ang isang kahilingan, at gumamit ng exponential backoff kapag wala ang header na iyon. Pinamamahalaan ng gabay na iyon ang throttling. Hindi nito siniyasat ang outage na ito o ipinapangako na ang mga retry ay nagpapanumbalik ng serbisyo. Ngayon ang apatnapu't walong oras.

Ano ang silbi ng 48-oras na window ng mail?

4:05 Sinabi ng pinalawak na status page ng Microsoft na binigyang-priyoridad nito ang queue at backlog na pagproseso at pinalawig ang email timeout window upang mapanatili ang mga naantalang mensahe. Nagbibigay iyon ng mas maraming oras para sa naantalang mail sa panahon ng pagbawi. Nagtatakda ito ng isang window ng timeout ng mail. Walang ibinigay na apatnapu't walong oras na deadline ang Microsoft para sa pag-aayos ng serbisyo, at walang garantiya na darating ang bawat mensahe. Kaya panatilihing tapat ang mga claim sa paghahatid. Ang isang naantalang abiso ay hindi naman nawala,

4:28 at ang isang nakapila na mensahe ay hindi naman nakarating sa tatanggap nito. Para sa trabahong sensitibo sa oras, i-verify ang resulta sa pamamagitan ng isang aprubadong independiyenteng channel. Ang isang client window ay isang optimistic delivery receipt kapag ang backend ay nagpapagaling pa rin. Na nag-iiwan ng maraming dapat basahin sa huling ulat ng insidente. Kung mas gusto mong basahin ito kaysa pakinggan akong sabihin ito, ang diff ay dumadating sa iyong inbox araw-araw, libre sa the daily diff dot dev, link sa ibaba. Kaya ang hatol ngayon, NEEDS REVIEW.

Ano ang kailangang patunayan ng patuloy na pagbawi?

4:49 Pananatilihin ko sa ilalim ng pagsusuri ang pagbawi dahil ang sariling mga update ng Microsoft ay nagpakita ng mga naibalik na server na nabibigo sa ilalim ng trapiko. Ang kapaki-pakinabang na pagsubok ay patuloy na serbisyo na may totoong trabaho na dumarating. Hanggang sa huling ulat, mananatiling bukas ang unang sanhi. At iyan ang diff para ngayon. Ako si Niko mula sa Axrisi. I-merge nang may pananagutan.

Mga Pinagmulan

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting