Pemulihan Outlook Microsoft terus gagal di bawah trafik

Apa yang diliputi video ini

• Semak kebergantungan backend setiap operasi: kebanyakan fungsi teras Teams dan akses fail SharePoint langsung kekal berfungsi, manakala ciri-ciri yang bergantung kepada Exchange terjejas.
• Microsoft melaporkan bahawa pelayan yang dikembalikan boleh menjadi tidak responsif lagi apabila trafik sampai kepada mereka; penjelasan komponen pemprosesan kesihatannya kekal sebagai hipotesis.
• Tempoh tamat masa e-mel yang dilanjutkan selama empat puluh lapan jam bertujuan untuk memelihara mel yang tertangguh semasa pemprosesan barisan dan tunggakan. Ia bukan tarikh akhir pembaikan atau jaminan penghantaran universal.
• Panduan pendikitan Graf biasa mengesyorkan mematuhi Retry-After dan penurunan eksponen apabila pengepala itu tiada; ia tidak mendiagnosis atau membaiki insiden ini.

Transkrip terjemahan

Diterjemahkan daripada penceritaan asal Bahasa Inggeris. Audio dan kapsyen yang tersedia dikawal oleh YouTube.

Mengapa pelayan yang dikembalikan gagal lagi?

0:00 Microsoft mengembalikan pelayan mel ke perkhidmatan. Ia boleh berhenti bertindak balas lagi apabila trafik kembali. Berikut adalah susulan pembangun. Dalam video ini, mengapa pemulihan terus gagal? Dan bahagian mana aplikasi anda masih berfungsi? Microsoft juga memberi e-mel yang tertangguh empat puluh lapan jam. Apa sebenarnya yang anda dapat? Hari ini Jumaat, tiga belas November, dan ini adalah The Daily Diff.

0:18 Exchange Online adalah perkhidmatan e-mel hos Microsoft, dan ciri-ciri Microsoft tiga

Ciri-ciri mana yang bergantung pada Exchange?

0:22 ratus enam puluh lima yang lain bergantung padanya. Berikut adalah perbezaan yang berguna dari halaman status Microsoft. Panggilan Teams dan sembang kumpulan kebanyakannya berfungsi. Ciri-ciri kalendar dan permintaan untuk data peti mel mungkin gagal. Semak kebergantungan yang sebenarnya digunakan oleh aplikasi anda. Ini bermakna mesyuarat masih boleh berlaku sementara kalendar enggan bekerjasama. Akses langsung kepada fail dalam SharePoint juga kekal berfungsi, sementara beberapa ciri perkongsian terjejas.

0:42 Logo pada tetingkap memberitahu anda sangat sedikit tentang backend mana yang diperlukan oleh klik anda yang seterusnya. Gangguan bermula pada Khamis, dengan Microsoft pada awalnya menyiasat akses peti mel di Amerika. Ia kemudian mengesahkan bahawa pengguna di mana-mana rantau boleh terjejas. CNN melaporkan masalah di bank, kerajaan dan mahkamah. E-mel yang hilang adalah tidak menyenangkan sehingga kerja sebenar seseorang bergantung pada kedatangannya. Penjelasan awal Microsoft adalah kehilangan pelayan yang tersedia.

Bagaimana kapasiti yang hilang membebankan perkhidmatan?

1:06 Kerja yang sepatutnya dikendalikan oleh mesin-mesin itu membebankan infrastruktur yang tinggal. Anda boleh membebankan perkhidmatan dengan permintaan biasa apabila kapasitinya hilang. Barisan menjadi lebih panjang walaupun tiada siapa yang tiba-tiba menemui minat untuk menghantar e-mel. Syarikat itu kemudian menyiasat pemeriksaan kesihatan automatik. Pemeriksaan ini membantu memutuskan sama ada pelayan boleh mengambil kerja. Microsoft mengatakan bahawa komponen yang memproses kesihatan pelayan mungkin terlibat. Itu adalah hipotesis daripada siasatan yang masih berjalan.

1:29 Kami tiada laporan insiden akhir yang menjelaskan dengan tepat mengapa pelayan itu mula-mula menjadi tidak tersedia. Kemas kini berbunyi seperti syif on-call yang semakin kurang berminat

Apa yang Microsoft cuba dahulu?

1:37 dengan sarapan pagi. Jeda pembangunan. Alihkan trafik. Mula semula pelayan. Microsoft mengesahkan pemeriksaan kesihatan alternatif yang mengembalikan subset, dan menyediakan sistem automatik untuk mengesan dan memulakan semula mesin yang tidak responsif. Setiap kemas kini menggambarkan percubaan untuk memulihkan kapasiti. Kemudian datang baris yang menjelaskan gelung pemulihan. Microsoft mengatakan pelayan yang dikembalikan ke perkhidmatan boleh menjadi tidak responsif lagi setelah mereka menerima trafik.

1:59 Mesin boleh kembali, menerima kerja sebenar, dan berhenti bertindak balas. Pemerhatian itu adalah bukti yang lebih kukuh daripada teori yakin sesiapa pun dalam balasan. Bayangkan pelayan yang sama melalui keadaan tersebut. Tidak tersedia. Dikembalikan ke perkhidmatan. Mengambil trafik. Tidak responsif lagi. Ini menggambarkan akaun Microsoft. Apa yang mencetuskan peralihan terakhir itu masih tidak terjawab. Mulakan semula boleh menghasilkan peningkatan sementara

2:18 sementara keadaan yang mengalahkan pelayan kekal tidak diselesaikan. Nasihat untuk mematikan dan menghidupkan semula mula mengenakan bayaran lebih masa. Jurutera perlu memeriksa apa yang berlaku selepas kerja kembali. Pelanggan memerlukan perkhidmatan untuk terus berfungsi melalui permintaan seterusnya, dan yang seterusnya. Microsoft mengehadkan trafik tertentu yang sampai kepada infrastruktur yang terjejas di beberapa lokasi. Ia juga membina semula subset pelayan menggunakan konfigurasi sebelumnya untuk

2:39 menguji sama ada mereka akan kekal responsif. Itu adalah eksperimen mitigasi yang dilaporkan. Menghentikan pembangunan semasa pemulihan tidak memberi kita bukti bahawa pembangunan pada hari Jumaat menyebabkan gangguan asal.

Apa yang diketahui pada waktu henti pelaporan?

2:48 Mengikut kemas kini Microsoft pada hari Jumaat pukul sebelas empat UTC, tindakan pemulihan telah selesai di seluruh bahagian Asia Pasifik. Trafik secara beransur-ansur kembali, dengan peningkatan dalam akses peti mel dan pemprosesan e-mel tertangguh. Beberapa pengguna mungkin masih menghadapi isu berselang-seli, dan pemulihan di tempat lain berterusan. Itu adalah waktu henti pelaporan kami. Microsoft mengatakan ia tidak mempunyai bukti aktiviti berniat jahat, dan menjanjikan laporan insiden penuh selepas mitigasi.

3:10 Saya akan menunggu laporan itu sebelum menuding jari. Kerja penyiasatan internet boleh memberi anda pelaku sebelum anda selesai menyegarkan semula halaman. Bagi pembangun, Microsoft Graph menjadikan kebergantungan sangat mudah terlepas pandang.

Mengapa satu permintaan Graf boleh gagal?

3:20 Permintaannya untuk mel Exchange, kalendar dan kenalan boleh tamat masa. Aplikasi anda boleh memanggil Graph dengan jayanya untuk satu operasi dan gagal pada yang lain. Permintaan yang tidak berkaitan yang berjaya memberitahu anda sedikit tentang sama ada operasi peti mel yang diperlukan oleh pengguna anda akan selesai. Halaman status pun memerlukan jalan keluar sendiri. Microsoft menyiarkan maklumat insiden secara terbuka kerana pentadbir mungkin tidak dapat memuatkan pusat pentadbir untuk membaca kesihatan perkhidmatan. Apabila papan pemuka untuk mengetahui apa yang rosak bergantung pada apa yang rosak,

3:46 papan pemuka itu telah menyertai insiden tersebut. Pastikan pautan status di luar jalur tersedia. Untuk pendikitan Graf biasa, panduan Microsoft menyatakan untuk mematuhi kelewatan cuba semula apabila permintaan mendapat respons terlalu banyak permintaan, dan gunakan penurunan eksponen apabila pengepala itu tiada. Panduan itu menguruskan pendikitan. Ia tidak mendiagnosis gangguan ini atau menjanjikan bahawa percubaan semula akan memulihkan perkhidmatan. Sekarang empat puluh lapan jam itu.

Apa yang dibeli oleh tetingkap mel 48 jam?

4:05 Halaman status Microsoft yang diperluaskan mengatakan ia mengutamakan pemprosesan barisan dan tunggakan dan melanjutkan tetingkap tamat masa e-mel untuk memelihara mesej yang tertangguh. Itu memberi lebih banyak masa kepada mel yang tertangguh semasa pemulihan. Ia menetapkan tetingkap tamat masa mel. Microsoft tidak memberi tarikh akhir empat puluh lapan jam untuk membaiki perkhidmatan, dan tiada jaminan bahawa setiap mesej akan tiba. Jadi pastikan tuntutan penghantaran jujur. Pemberitahuan tertangguh tidak semestinya hilang,

4:28 dan mesej yang beratur tidak semestinya sampai kepada penerimanya. Untuk kerja yang sensitif masa, sahkan hasilnya melalui saluran bebas yang diluluskan. Tetingkap klien adalah resit penghantaran yang optimistik apabila backend masih dalam pemulihan. Yang meninggalkan banyak untuk dibaca dalam laporan insiden akhirnya. Jika anda lebih suka membaca ini daripada mendengar saya mengatakannya, perbezaannya mendarat di peti masuk anda setiap pagi, percuma di the daily diff dot dev, pautan di bawah. Jadi keputusan hari ini, PERLU SEMAKAN.

Apa yang perlu dibuktikan oleh pemulihan berterusan?

4:49 Saya akan menyimpan pemulihan untuk disemak kerana kemas kini Microsoft sendiri menunjukkan pelayan yang dikembalikan gagal di bawah trafik. Ujian yang berguna adalah perkhidmatan berterusan dengan kerja sebenar yang datang. Sehingga laporan akhir, punca awal kekal terbuka. Dan itulah perbezaannya untuk hari ini. Saya Niko dari Axrisi. Gabungkan dengan bertanggungjawab.

Sumber

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting