Khôi phục Outlook của Microsoft liên tục thất bại do lưu lượng truy cập

Nội dung video này đề cập

• Kiểm tra sự phụ thuộc backend của từng hoạt động: hầu hết các chức năng cốt lõi của Teams và truy cập trực tiếp vào tệp SharePoint vẫn hoạt động, trong khi các tính năng phụ thuộc vào Exchange bị suy giảm.
• Microsoft báo cáo rằng các máy chủ được trả về có thể trở lại không phản hồi khi có lưu lượng truy cập; giải thích về thành phần xử lý sức khỏe của họ vẫn là một giả thuyết.
• Thời gian chờ email được kéo dài bốn mươi tám giờ nhằm mục đích bảo toàn thư bị trì hoãn trong quá trình xử lý hàng đợi và tồn đọng. Đó không phải là thời hạn sửa chữa hoặc đảm bảo giao hàng toàn cầu.
• Hướng dẫn điều tiết Graph thông thường khuyên bạn nên tuân thủ Retry-After và lùi lũy thừa khi tiêu đề đó không có; nó không chẩn đoán hoặc sửa chữa sự cố này.

Bản ghi đã dịch

Được dịch từ lời tường thuật tiếng Anh gốc. Âm thanh và phụ đề có sẵn được điều khiển bởi YouTube.

Tại sao các máy chủ được trả về lại bị lỗi?

0:00 Microsoft đã đưa máy chủ thư trở lại hoạt động. Chúng có thể ngừng phản hồi lại khi lưu lượng truy cập trở lại. Đây là phần tiếp theo dành cho nhà phát triển. Trong video này, tại sao việc khôi phục liên tục thất bại? Và những phần nào của ứng dụng của bạn vẫn hoạt động? Microsoft cũng đã cung cấp email bị trì hoãn bốn mươi tám giờ. Điều đó thực sự mang lại cho bạn điều gì? Hôm nay là thứ Sáu, ngày mười ba tháng mười một, và đây là The Daily Diff.

0:18 Exchange Online là dịch vụ email được lưu trữ của Microsoft, và các tính năng khác của Microsoft ba

Những tính năng nào phụ thuộc vào Exchange?

0:22 sáu mươi lăm phụ thuộc vào nó. Đây là sự phân biệt hữu ích từ trang trạng thái của Microsoft. Các cuộc gọi Teams và trò chuyện nhóm hầu hết hoạt động. Các tính năng lịch và yêu cầu dữ liệu hộp thư có thể bị lỗi. Kiểm tra sự phụ thuộc mà ứng dụng của bạn thực sự sử dụng. Điều đó có nghĩa là một cuộc họp vẫn có thể diễn ra trong khi lịch từ chối hợp tác. Truy cập trực tiếp vào các tệp trong SharePoint cũng vẫn hoạt động, trong khi một số tính năng chia sẻ bị ảnh hưởng.

0:42 Logo trên cửa sổ cho bạn biết rất ít về backend mà lần nhấp tiếp theo của bạn cần. Sự gián đoạn bắt đầu vào thứ Năm, với Microsoft ban đầu điều tra truy cập hộp thư ở Châu Mỹ. Sau đó, họ xác nhận rằng người dùng ở bất kỳ khu vực nào cũng có thể bị ảnh hưởng. CNN đã báo cáo các vấn đề trên các ngân hàng, chính phủ và tòa án. Một email bị thiếu gây bất tiện cho đến khi công việc thực sự của ai đó phụ thuộc vào việc nó đến. Giải thích ban đầu của Microsoft là mất máy chủ có sẵn.

Việc thiếu dung lượng gây quá tải dịch vụ như thế nào?

1:06 Công việc mà những máy đó phải xử lý đã gây căng thẳng cho cơ sở hạ tầng còn lại. Bạn có thể làm quá tải một dịch vụ với nhu cầu thông thường khi dung lượng của nó biến mất. Hàng đợi sẽ dài hơn ngay cả khi không ai đột nhiên phát hiện ra niềm đam mê gửi email. Công ty sau đó đã điều tra các kiểm tra sức khỏe tự động. Các kiểm tra này giúp quyết định liệu một máy chủ có thể nhận công việc hay không. Microsoft cho biết một thành phần xử lý sức khỏe máy chủ có thể có liên quan. Đó là một giả thuyết từ một cuộc điều tra vẫn đang diễn ra.

1:29 Chúng tôi không có báo cáo sự cố cuối cùng giải thích chính xác tại sao những máy chủ đó lần đầu tiên trở nên không khả dụng. Các bản cập nhật đọc giống như một ca trực liên tục

Microsoft đã thử gì đầu tiên?

1:37 ít quan tâm đến bữa sáng hơn. Tạm dừng triển khai. Di chuyển lưu lượng truy cập. Khởi động lại máy chủ. Microsoft đã xác thực một kiểm tra sức khỏe thay thế đã đưa một tập hợp con trở lại, và chuẩn bị các hệ thống tự động để phát hiện và khởi động lại các máy không phản hồi. Mỗi bản cập nhật mô tả một nỗ lực khôi phục dung lượng. Sau đó là dòng giải thích vòng lặp khôi phục. Microsoft cho biết các máy chủ được đưa trở lại hoạt động có thể trở lại không phản hồi một khi chúng nhận được lưu lượng truy cập.

1:59 Một máy có thể hoạt động trở lại, nhận công việc thực tế, và ngừng phản hồi. Quan sát đó là bằng chứng mạnh hơn bất kỳ lý thuyết tự tin nào của bất kỳ ai trong các phản hồi. Hình dung cùng một máy chủ qua các trạng thái đó. Không khả dụng. Được trả về hoạt động. Đang nhận lưu lượng truy cập. Không phản hồi lại. Điều này minh họa lời giải thích của Microsoft. Điều gì kích hoạt quá trình chuyển đổi cuối cùng đó vẫn chưa được trả lời. Việc khởi động lại có thể tạo ra một sự

2:18 cải thiện tạm thời trong khi điều kiện làm hỏng máy chủ vẫn chưa được giải quyết. Lời khuyên tắt nó đi và bật lại bắt đầu tính thêm giờ. Các kỹ sư phải kiểm tra điều gì xảy ra sau khi công việc trở lại. Khách hàng cần dịch vụ tiếp tục hoạt động qua yêu cầu tiếp theo, và yêu cầu tiếp theo nữa. Microsoft đã giới hạn một số lưu lượng truy cập đến cơ sở hạ tầng bị ảnh hưởng ở một số vị trí. Họ cũng xây dựng lại một tập hợp con các máy chủ bằng cách sử dụng cấu hình trước đó để

2:39 kiểm tra xem chúng có vẫn phản hồi hay không. Đó là những thí nghiệm giảm thiểu đã được báo cáo. Việc tạm dừng triển khai trong quá trình khôi phục không cho chúng ta bằng chứng rằng một triển khai vào thứ Sáu đã gây ra sự cố ban đầu.

Điều gì đã được biết tại thời điểm cắt giảm báo cáo?

2:48 Theo bản cập nhật thứ Sáu của Microsoft lúc mười một giờ bốn phút UTC, các hành động khôi phục đã hoàn thành trên các khu vực của Châu Á Thái Bình Dương. Lưu lượng truy cập đang dần trở lại, với những cải thiện trong truy cập hộp thư và xử lý email bị trì hoãn. Một số người dùng vẫn có thể gặp phải các sự cố không liên tục, và quá trình khôi phục ở những nơi khác vẫn tiếp tục. Đó là thời điểm cắt giảm báo cáo của chúng tôi. Microsoft cho biết họ không có bằng chứng về hoạt động độc hại, và hứa sẽ có báo cáo sự cố đầy đủ sau khi giảm nhẹ.

3:10 Tôi sẽ đợi báo cáo đó trước khi đổ lỗi cho ai đó. Công việc điều tra trên Internet có thể cho bạn một thủ phạm trước khi bạn thậm chí đã làm mới trang. Đối với các nhà phát triển, Microsoft Graph làm cho sự phụ thuộc đặc biệt dễ bị bỏ lỡ.

Tại sao một yêu cầu Graph có thể thất bại?

3:20 Các yêu cầu của nó đối với thư, lịch và danh bạ Exchange có thể hết thời gian chờ. Ứng dụng của bạn có thể gọi Graph thành công cho một hoạt động và thất bại ở một hoạt động khác. Một yêu cầu không liên quan thành công cho bạn biết rất ít về việc hoạt động hộp thư mà người dùng của bạn cần có hoàn thành hay không. Trang trạng thái thậm chí còn cần lối thoát riêng của nó. Microsoft đã đăng thông tin sự cố công khai vì quản trị viên có thể không thể tải trung tâm quản trị để đọc tình trạng dịch vụ. Khi bảng điều khiển để tìm ra những gì bị hỏng phụ thuộc vào những gì bị hỏng,

3:46 bảng điều khiển đã tham gia vào sự cố. Giữ một liên kết trạng thái ngoài băng tần có sẵn. Đối với điều tiết Graph thông thường, hướng dẫn của Microsoft nói rằng hãy tuân thủ độ trễ thử lại khi một yêu cầu nhận được phản hồi quá nhiều yêu cầu, và sử dụng lùi lũy thừa khi tiêu đề đó không có. Hướng dẫn đó quản lý điều tiết. Nó không chẩn đoán sự cố này hoặc hứa hẹn rằng việc thử lại sẽ khôi phục dịch vụ. Bây giờ là bốn mươi tám giờ.

Cửa sổ thư 48 giờ mang lại điều gì?

4:05 Trang trạng thái mở rộng của Microsoft cho biết họ ưu tiên xử lý hàng đợi và tồn đọng và kéo dài cửa sổ thời gian chờ email để bảo toàn các tin nhắn bị trì hoãn. Điều đó mang lại cho thư bị trì hoãn nhiều thời gian hơn trong quá trình khôi phục. Nó đặt một cửa sổ thời gian chờ thư. Microsoft không đưa ra thời hạn bốn mươi tám giờ để khắc phục dịch vụ, và không đảm bảo rằng mọi tin nhắn sẽ đến. Vì vậy, hãy giữ các tuyên bố giao hàng trung thực. Một thông báo bị trì hoãn không nhất thiết phải biến mất,

4:28 và một tin nhắn trong hàng đợi không nhất thiết phải đến được người nhận. Đối với công việc nhạy cảm về thời gian, hãy xác minh kết quả thông qua một kênh độc lập được phê duyệt. Cửa sổ máy khách là một biên lai giao hàng lạc quan khi backend vẫn đang khôi phục. Điều này để lại nhiều điều để đọc trong báo cáo sự cố cuối cùng. Nếu bạn muốn đọc điều này hơn là nghe tôi nói, bản diff sẽ đến hộp thư đến của bạn mỗi sáng, miễn phí tại thedailydiff.dev, liên kết bên dưới. Vậy phán quyết hôm nay, CẦN ĐÁNH GIÁ.

Việc khôi phục bền vững cần chứng minh điều gì?

4:49 Tôi sẽ tiếp tục đánh giá quá trình khôi phục vì các bản cập nhật của Microsoft cho thấy các máy chủ đã trở lại hoạt động bị lỗi do lưu lượng truy cập. Kiểm tra hữu ích là dịch vụ bền vững với công việc thực tế được thông qua. Cho đến báo cáo cuối cùng, nguyên nhân ban đầu vẫn còn bỏ ngỏ. Và đó là bản diff hôm nay. Tôi là Niko từ Axrisi. Hợp nhất có trách nhiệm.

Nguồn

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting