Microsoft-ის Outlook-ის აღდგენა ტრაფიკის პირობებში იშლებოდა

რას მოიცავს ეს ვიდეო

• შეამოწმეთ თითოეული ოპერაციის ბექენდის დამოკიდებულება: Teams-ის ძირითადი ფუნქციონალობის უმეტესი ნაწილი და SharePoint-ის ფაილებზე პირდაპირი წვდომა ფუნქციონალური დარჩა, მაშინ როდესაც Exchange-ზე დამოკიდებული ფუნქციები დაზიანდა.
• Microsoft-მა განაცხადა, რომ დაბრუნებული სერვერები შეიძლება კვლავ გაითიშოს, როდესაც მათზე ტრაფიკი მიაღწევს; მისი ჯანმრთელობის დამუშავების კომპონენტის ახსნა ჰიპოთეზად დარჩა.
• გახანგრძლივებული ორმოცდარვა საათიანი ელფოსტის ვადა მიზნად ისახავდა დაგვიანებული ფოსტის შენარჩუნებას რიგისა და ბექლოგის დამუშავების დროს. ეს არ იყო შეკეთების ვადა ან უნივერსალური მიწოდების გარანტია.
• ჩვეულებრივი Graph-ის throttling-ის მითითება გვირჩევს Retry-After-ის და ექსპონენციალური backoff-ის დაცვას, როდესაც ეს სათაური არ არის; ის არ სვამს დიაგნოზს ან არ ასწორებს ამ ინციდენტს.

ნათარგმნი ტრანსკრიპტი

ნათარგმნია ორიგინალური ინგლისური ნარატივიდან. ხელმისაწვდომი აუდიო და სუბტიტრები კონტროლდება YouTube-ის მიერ.

რატომ გაითიშა დაბრუნებული სერვერები კვლავ?

0:00 Microsoft-მა ელფოსტის სერვერები სერვისში დააბრუნა. მათ შეეძლოთ კვლავ შეწყვიტონ პასუხის გაცემა, როდესაც ტრაფიკი დაბრუნდებოდა. აქ არის დეველოპერის შემდგომი განმარტება. ამ ვიდეოში, რატომ იშლებოდა აღდგენა კვლავ? და თქვენი აპლიკაციის რომელი ნაწილები მუშაობდა მაინც? Microsoft-მა ასევე დაგვიანებულ ელფოსტას ორმოცდარვა საათი მისცა. რას გვაძლევს ეს რეალურად? პარასკევია, ცამეტი ნოემბერი, და ეს არის The Daily Diff.

0:18 Exchange Online არის Microsoft-ის ჰოსტირებული ელფოსტის სერვისი, და სხვა Microsoft 365

რომელი ფუნქციები იყო დამოკიდებული Exchange-ზე?

0:22 ფუნქციები მასზეა დამოკიდებული. აქ არის სასარგებლო განსხვავება Microsoft-ის სტატუსის გვერდიდან. Teams-ის ზარები და ჯგუფური ჩეთები უმეტესად მუშაობდა. კალენდრის ფუნქციები და საფოსტო ყუთის მონაცემების მოთხოვნები შეიძლება გაითიშოს. შეამოწმეთ დამოკიდებულება, რომელსაც თქვენი აპლიკაცია რეალურად იყენებს. ეს ნიშნავს, რომ შეხვედრა მაინც შეიძლება მოხდეს, მაშინ როდესაც კალენდარი უარს ამბობს თანამშრომლობაზე. SharePoint-ში ფაილებზე პირდაპირი წვდომაც ფუნქციონალური დარჩა, მაშინ როდესაც ზოგიერთი გაზიარების ფუნქცია დაზიანდა.

0:42 ფანჯარაზე გამოსახული ლოგო ძალიან მცირედს გვეუბნება იმის შესახებ, თუ რა ბექენდი სჭირდება თქვენს შემდეგ დაწკაპუნებას. შეფერხება დაიწყო ხუთშაბათს, Microsoft-მა თავდაპირველად გამოიკვლია საფოსტო ყუთზე წვდომა ამერიკაში. შემდეგ დაადასტურა, რომ ნებისმიერ რეგიონში მომხმარებლები შეიძლება დაზარალდნენ. CNN-მა პრობლემები ბანკებში, მთავრობებსა და სასამართლოებში დააფიქსირა. გაკარგული ელფოსტა მოუხერხებელია, სანამ ვინმეს რეალური სამუშაო მასზე არ იქნება დამოკიდებული მისვლაზე. Microsoft-ის ადრეული ახსნა იყო ხელმისაწვდომი სერვერების დაკარგვა.

როგორ იტვირთება სერვისი დაკარგული სიმძლავრის გამო?

1:06 ის სამუშაო, რომელიც ამ მანქანებს უნდა შეესრულებინათ, დატვირთა დარჩენილი ინფრასტრუქტურა. თქვენ შეგიძლიათ გადატვირთოთ სერვისი ჩვეულებრივი მოთხოვნით, როდესაც მისი სიმძლავრე ქრება. რიგი გრძელდება მაშინაც კი, თუ არავინ არ აღმოაჩინა მოულოდნელად ელფოსტის გაგზავნისადმი ვნება. კომპანიამ შემდეგ გამოიკვლია ავტომატური ჯანმრთელობის შემოწმებები. ეს შემოწმებები ეხმარება გადაწყვიტოს, შეუძლია თუ არა სერვერს სამუშაოს შესრულება. Microsoft-მა განაცხადა, რომ სერვერის ჯანმრთელობის დამუშავების კომპონენტი შეიძლება იყოს ჩართული. ეს არის ჰიპოთეზა მიმდინარე გამოძიებიდან.

1:29 ჩვენ არ გვაქვს საბოლოო ინციდენტის ანგარიში, რომელიც ზუსტად განმარტავს, თუ რატომ გაითიშა ეს სერვერები თავდაპირველად. განახლებები ისე იკითხება, თითქოს მორიგეობა თანდათან

რა სცადა Microsoft-მა თავდაპირველად?

1:37 ნაკლებად დაინტერესებულია საუზმით. შეაჩერეთ განლაგებები. გადაიტანეთ ტრაფიკი. გადატვირთეთ სერვერები. Microsoft-მა დაადასტურა ალტერნატიული ჯანმრთელობის შემოწმება, რამაც დააბრუნა ქვეჯგუფი, და მოამზადა ავტომატური სისტემები გათიშული მანქანების აღმოსაჩენად და გადასატვირთად. ყოველი განახლება აღწერდა სიმძლავრის აღდგენის მცდელობას. შემდეგ მოვიდა სტრიქონი, რომელიც განმარტავს აღდგენის ციკლს. Microsoft-მა განაცხადა, რომ სერვერები, რომლებიც სერვისში დაბრუნდნენ, შეიძლება კვლავ გაითიშოს როგორც კი ტრაფიკს მიიღებენ.

1:59 მანქანა შეიძლება დაბრუნდეს, მიიღოს რეალური სამუშაო და შეწყვიტოს პასუხის გაცემა. ეს დაკვირვება უფრო ძლიერი მტკიცებულებაა, ვიდრე ვინმეს თავდაჯერებული თეორია პასუხებში. წარმოიდგინეთ იგივე სერვერი ამ მდგომარეობებში. მიუწვდომელია. სერვისში დაბრუნდა. ტრაფიკის მიღება. ისევ გაითიშა. ეს ასახავს Microsoft-ის ანგარიშს. რა იწვევს ამ უკანასკნელ გადასვლას, უპასუხოდ რჩება. გადატვირთვამ შეიძლება გამოიწვიოს დროებითი

2:18 გაუმჯობესება, მაშინ როდესაც მდგომარეობა, რომელიც აზიანებს სერვერს, გადაუჭრელი რჩება. რჩევა, რომ გამორთო და ისევ ჩართო, ზეგანაკვეთურ გადასახადებს ითხოვს. ინჟინრებმა უნდა შეამოწმონ, რა ხდება სამუშაოს დაბრუნების შემდეგ. მომხმარებელს სჭირდება სერვისი, რომ იმუშაოს შემდეგი მოთოვნის და შემდგომი მოთოვნის დროს. Microsoft-მა შეზღუდა გარკვეული ტრაფიკი, რომელიც ზარალდებოდა ინფრასტრუქტურას ზოგიერთ ადგილას. მან ასევე აღადგინა სერვერების ქვეჯგუფი წინა კონფიგურაციის გამოყენებით, რათა

2:39 შეემოწმებინა, დარჩებოდნენ თუ არა ისინი რეაგირებადი. ეს იყო მოხსენებული შემარბილებელი ექსპერიმენტები. განლაგების შეჩერება აღდგენის დროს არ გვაძლევს მტკიცებულებას, რომ პარასკევის განლაგებამ გამოიწვია თავდაპირველი გათიშვა.

რა იყო ცნობილი მოხსენების შეწყვეტის დროს?

2:48 Microsoft-ის პარასკევის განახლების მიხედვით, თერთმეტის ოთხი წუთზე UTC-ზე, აღდგენის მოქმედებები დასრულდა აზია-წყნარი ოკეანის ნაწილებში. ტრაფიკი თანდათან ბრუნდებოდა, გაუმჯობესდა საფოსტო ყუთზე წვდომა და დაგვიანებული ელფოსტის დამუშავება. ზოგიერთ მომხმარებელს მაინც შეიძლება შეექმნას წყვეტილი პრობლემები, და აღდგენა სხვაგან გაგრძელდა. ეს არის ჩვენი მოხსენების შეწყვეტა. Microsoft-მა განაცხადა, რომ მას არ გააჩნდა მავნე აქტივობის მტკიცებულება, და დაპირდა ინციდენტის სრულ ანგარიშს შემარბილებელი ზომების შემდეგ.

3:10 მე დაველოდებოდი ამ ანგარიშს, სანამ ბოროტმოქმედს დავადანაშაულებდი. ინტერნეტის დეტექტივურმა სამუშაომ შეიძლება დამნაშავე მოგცეთ, სანამ გვერდის განახლებას დაასრულებთ. დეველოპერებისთვის, Microsoft Graph-ი დამოკიდებულებას განსაკუთრებით ადვილად დასაკარგავს ხდის.

რატომ შეიძლება გაითიშოს ერთი Graph მოთხოვნა?

3:20 მისი მოთხოვნები Exchange-ის ფოსტის, კალენდრის და კონტაქტებისთვის შეიძლება გაითიშოს. თქვენს აპლიკაციას შეუძლია წარმატებით გამოიძახოს Graph-ი ერთი ოპერაციისთვის და გაითიშოს მეორეზე. წარმატებული დაუკავშირებელი მოთხოვნა ცოტას გეუბნებათ იმის შესახებ, დასრულდება თუ არა საფოსტო ყუთის ოპერაცია, რომელიც თქვენს მომხმარებელს სჭირდება. სტატუსის გვერდსაც კი სჭირდებოდა საკუთარი გაქცევის მარშრუტი. Microsoft-მა ინციდენტის ინფორმაცია საჯაროდ გამოაქვეყნა, რადგან ადმინისტრატორებს შეიძლება არ შეეძლოთ ადმინისტრატორის ცენტრის ჩატვირთვა სერვისის ჯანმრთელობის წასაკითხად. როდესაც დაფა იმისთვის, რომ გაიგო რა არის გაფუჭებული, დამოკიდებულია იმაზე, რაც გაფუჭებულია,

3:46 დაფა ინციდენტს შეუერთდა. შეინარჩუნეთ out-of-band სტატუსის ბმული ხელმისაწვდომი. ჩვეულებრივი Graph-ის throttling-ისთვის, Microsoft-ის მითითება ამბობს, რომ დაიცვათ განმეორებითი დაყოვნება, როდესაც მოთხოვნა იღებს ძალიან ბევრი მოთხოვნის პასუხს, და გამოიყენოთ ექსპონენციალური backoff, როდესაც ეს სათაური არ არის. ეს მითითება მართავს throttling-ს. ის არ სვამს დიაგნოზს ამ გათიშვისთვის ან არ გვპირდება, რომ განმეორებითი მცდელობები აღადგენს სერვისს. ახლა კი ორმოცდარვა საათი.

რას იძლევა 48-საათიანი ფოსტის ფანჯარა?

4:05 Microsoft-ის გაფართოებული სტატუსის გვერდი ამბობს, რომ მან პრიორიტეტი მიანიჭა რიგისა და ბექლოგის დამუშავებას და გააფართოვა ელფოსტის გათიშვის ფანჯარა დაგვიანებული შეტყობინებების შესანარჩუნებლად. ეს აძლევს დაგვიანებულ ფოსტას მეტ დროს აღდგენის დროს. ის ადგენს ფოსტის გათიშვის ფანჯარას. Microsoft-მა არ დააწესა ორმოცდარვა საათიანი ვადა სერვისის შეკეთებისთვის, და არანაირი გარანტია, რომ ყველა შეტყობინება ჩამოვიდოდა. ამიტომ, შეინარჩუნეთ მიწოდების პრეტენზიები პატიოსნად. დაგვიანებული შეტყობინება აუცილებლად არ გაქრა,

4:28 და რიგში მდგომი შეტყობინება აუცილებლად არ მიუღწევია მიმღებთან. დროულ სამუშაოსთვის, გადაამოწმეთ შედეგი დამტკიცებული დამოუკიდებელი არხის საშუალებით. კლიენტის ფანჯარა არის ოპტიმისტური მიწოდების ქვითარი, როდესაც ბექენდი კვლავ აღდგება. რაც ბევრ რამეს ტოვებს წასაკითხად საბოლოო ინციდენტის ანგარიშში. თუ გირჩევნიათ ეს წაიკითხოთ, ვიდრე მომისმინოთ, Diff თქვენს შემოსულებში ხვდება ყოველ დილით, უფასოდ dailydiff.dev-ზე, ბმული ქვემოთ. ასე რომ, დღევანდელი ვერდიქტი, NEEDS REVIEW.

რა უნდა დაემტკიცებინა მდგრად აღდგენას?

4:49 მე აღდგენას განვიხილავდი, რადგან Microsoft-ის საკუთარმა განახლებებმა აჩვენა, რომ დაბრუნებული სერვერები იშლებოდა ტრაფიკის პირობებში. სასარგებლო ტესტი არის მდგრადი სერვისი რეალური სამუშაოს შემოსვლით. საბოლოო ანგარიშამდე, საწყისი მიზეზი ღია რჩება. და ეს არის დღევანდელი Diff. მე ვარ ნიკო Axrisi-დან. შეუერთდით პასუხისმგებლობით.

წყაროები

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting