Pemulihan Outlook Microsoft terus gagal karena lalu lintas

Isi video ini

• Periksa dependensi backend setiap operasi: sebagian besar fungsionalitas inti Teams dan akses file SharePoint langsung tetap berfungsi, sementara fitur yang bergantung pada Exchange terganggu.
• Microsoft melaporkan bahwa server yang dikembalikan dapat menjadi tidak responsif lagi ketika lalu lintas mencapai mereka; penjelasan komponen pemrosesan kesehatan mereka tetap menjadi hipotesis.
• Batas waktu email empat puluh delapan jam yang diperpanjang dimaksudkan untuk mempertahankan email yang tertunda selama pemrosesan antrean dan backlog. Itu bukan tenggat waktu perbaikan atau jaminan pengiriman universal.
• Panduan pembatasan Graph biasa merekomendasikan untuk menghormati Retry-After dan exponential backoff ketika header tersebut tidak ada; itu tidak mendiagnosis atau memperbaiki insiden ini.

Transkrip terjemahan

Diterjemahkan dari narasi asli bahasa Inggris. Audio dan teks tersedia yang dikontrol oleh YouTube.

Mengapa server yang dikembalikan gagal lagi?

0:00 Microsoft mengembalikan server email ke layanan. Mereka bisa berhenti merespons lagi ketika lalu lintas kembali. Berikut adalah tindak lanjut pengembang. Dalam video ini, mengapa pemulihan terus gagal? Dan bagian mana dari aplikasi Anda yang masih berfungsi? Microsoft juga memberikan email yang tertunda empat puluh delapan jam. Apa sebenarnya yang Anda dapatkan dari itu? Ini Jumat, tiga belas November, dan ini The Daily Diff.

0:18 Exchange Online adalah layanan email yang di-host Microsoft, dan fitur Microsoft tiga

Fitur mana yang bergantung pada Exchange?

0:22 ratus enam puluh lima lainnya bergantung padanya. Berikut adalah perbedaan yang berguna dari halaman status Microsoft. Panggilan dan obrolan grup Teams sebagian besar berfungsi. Fitur kalender dan permintaan data kotak surat bisa gagal. Periksa dependensi yang sebenarnya digunakan aplikasi Anda. Itu berarti rapat masih bisa terjadi sementara kalender menolak untuk bekerja sama. Akses langsung ke file di SharePoint juga tetap berfungsi, sementara beberapa fitur berbagi terpengaruh.

0:42 Logo di jendela memberi tahu Anda sangat sedikit tentang backend mana yang dibutuhkan klik Anda berikutnya. Gangguan dimulai pada hari Kamis, dengan Microsoft awalnya menyelidiki akses kotak surat di Amerika. Kemudian dikonfirmasi bahwa pengguna di wilayah mana pun dapat terpengaruh. CNN melaporkan masalah di bank, pemerintah, dan pengadilan. Email yang hilang tidak nyaman sampai pekerjaan nyata seseorang bergantung pada email itu tiba. Penjelasan awal Microsoft adalah hilangnya server yang tersedia.

Bagaimana kapasitas yang hilang membebani layanan?

1:06 Pekerjaan yang seharusnya ditangani mesin-mesin itu membebani infrastruktur yang tersisa. Anda dapat membebani layanan dengan permintaan biasa ketika kapasitasnya menghilang. Antrean menjadi lebih panjang meskipun tidak ada yang tiba-tiba menemukan gairah untuk mengirim email. Perusahaan kemudian menyelidiki pemeriksaan kesehatan otomatis. Pemeriksaan ini membantu memutuskan apakah server dapat menerima pekerjaan. Microsoft mengatakan komponen yang memproses kesehatan server mungkin terlibat. Itu adalah hipotesis dari penyelidikan yang masih berlangsung.

1:29 Kami tidak memiliki laporan insiden akhir yang menjelaskan dengan tepat mengapa server-server itu pertama kali menjadi tidak tersedia. Pembaruan tersebut terbaca seperti shift on-call yang semakin

Apa yang pertama kali dicoba Microsoft?

1:37 kurang tertarik pada sarapan. Jeda deployment. Pindahkan lalu lintas. Mulai ulang server. Microsoft memvalidasi pemeriksaan kesehatan alternatif yang mengembalikan sebagian kecil, dan menyiapkan sistem otomatis untuk mendeteksi dan memulai ulang mesin yang tidak responsif. Setiap pembaruan menggambarkan upaya untuk memulihkan kapasitas. Kemudian muncul baris yang menjelaskan loop pemulihan. Microsoft mengatakan server yang kembali beroperasi dapat menjadi tidak responsif lagi setelah menerima lalu lintas.

1:59 Sebuah mesin bisa kembali, menerima pekerjaan nyata, dan berhenti merespons. Pengamatan itu adalah bukti yang lebih kuat daripada teori siapa pun yang percaya diri dalam balasan. Bayangkan server yang sama melalui status-status tersebut. Tidak tersedia. Kembali beroperasi. Menerima lalu lintas. Tidak responsif lagi. Ini menggambarkan laporan Microsoft. Apa yang memicu transisi terakhir itu masih belum terjawab. Restart dapat menghasilkan peningkatan sementara

2:18 sementara kondisi yang mengalahkan server tetap tidak terselesaikan. Saran untuk mematikan dan menyalakannya lagi mulai menghasilkan lembur. Insinyur harus memeriksa apa yang terjadi setelah pekerjaan kembali. Pelanggan membutuhkan layanan untuk terus berfungsi melalui permintaan berikutnya, dan permintaan berikutnya. Microsoft membatasi lalu lintas tertentu yang mencapai infrastruktur yang terpengaruh di beberapa lokasi. Microsoft juga membangun kembali sebagian server menggunakan konfigurasi sebelumnya untuk

2:39 menguji apakah mereka akan tetap responsif. Itu adalah eksperimen mitigasi yang dilaporkan. Menghentikan deployment selama pemulihan tidak memberi kita bukti bahwa deployment hari Jumat menyebabkan pemadaman awal.

Apa yang diketahui pada batas waktu pelaporan?

2:48 Pada pembaruan Microsoft hari Jumat pukul sebelas lewat empat UTC, tindakan pemulihan telah selesai di sebagian Asia Pasifik. Lalu lintas secara bertahap kembali, dengan peningkatan dalam akses kotak surat dan pemrosesan email yang tertunda. Beberapa pengguna masih bisa menghadapi masalah intermiten, dan pemulihan di tempat lain terus berlanjut. Itu adalah batas waktu pelaporan kami. Microsoft mengatakan tidak memiliki bukti aktivitas berbahaya, dan menjanjikan laporan insiden lengkap setelah mitigasi.

3:10 Saya akan menunggu laporan itu sebelum menunjuk penjahat. Pekerjaan detektif internet dapat memberi Anda pelaku bahkan sebelum Anda selesai menyegarkan halaman. Bagi pengembang, Microsoft Graph membuat dependensi sangat mudah terlewatkan.

Mengapa satu permintaan Graph bisa gagal?

3:20 Permintaan untuk mail, kalender, dan kontak Exchange dapat habis waktu. Aplikasi Anda dapat memanggil Graph dengan sukses untuk satu operasi dan gagal pada operasi lain. Permintaan tidak terkait yang berhasil memberi tahu Anda sedikit tentang apakah operasi kotak surat yang dibutuhkan pengguna Anda akan selesai. Halaman status bahkan membutuhkan jalur keluarnya sendiri. Microsoft memposting informasi insiden secara publik karena administrator mungkin tidak dapat memuat pusat admin untuk membaca kesehatan layanan. Ketika dasbor untuk mengetahui apa yang rusak bergantung pada apa yang rusak,

3:46 dasbor telah bergabung dengan insiden tersebut. Sediakan tautan status di luar pita (out-of-band). Untuk pembatasan Graph biasa, panduan Microsoft mengatakan untuk menghormati penundaan ulang ketika permintaan mendapat respons terlalu banyak permintaan, dan gunakan exponential backoff ketika header itu tidak ada. Panduan itu mengelola pembatasan. Itu tidak mendiagnosis pemadaman ini atau menjanjikan bahwa percobaan ulang akan memulihkan layanan. Sekarang empat puluh delapan jam.

Apa yang didapatkan dari jendela email 48 jam?

4:05 Halaman status Microsoft yang diperluas mengatakan bahwa mereka memprioritaskan pemrosesan antrean dan backlog dan memperpanjang jendela waktu tunggu email untuk mempertahankan pesan yang tertunda. Itu memberi email yang tertunda lebih banyak waktu selama pemulihan. Itu menetapkan jendela waktu tunggu email. Microsoft tidak memberikan tenggat waktu empat puluh delapan jam untuk memperbaiki layanan, dan tidak ada jaminan bahwa setiap pesan akan tiba. Jadi, jaga agar klaim pengiriman tetap jujur. Pemberitahuan yang tertunda belum tentu menghilang,

4:28 dan pesan yang diantrekan belum tentu mencapai penerima. Untuk pekerjaan yang sensitif waktu, verifikasi hasilnya melalui saluran independen yang disetujui. Jendela klien adalah tanda terima pengiriman yang optimis ketika backend masih memulihkan. Itu menyisakan banyak hal untuk dibaca dalam laporan insiden yang akan datang. Jika Anda lebih suka membaca ini daripada mendengarkan saya mengatakannya, diff akan tiba di kotak masuk Anda setiap pagi, gratis di the daily diff dot dev, tautan di bawah. Jadi putusan hari ini, NEEDS REVIEW.

Apa yang perlu dibuktikan oleh pemulihan yang berkelanjutan?

4:49 Saya akan terus meninjau pemulihan karena pembaruan Microsoft sendiri menunjukkan server yang dikembalikan gagal di bawah lalu lintas. Uji yang berguna adalah layanan yang berkelanjutan dengan pekerjaan nyata yang datang. Sampai laporan akhir, penyebab awal tetap terbuka. Dan itulah diff untuk hari ini. Saya Niko dari Axrisi. Gabungkan secara bertanggung jawab.

Sumber

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting