Възстановяването на Outlook на Microsoft продължаваше да се проваля при трафик

Какво обхваща този видеоклип

• Проверете зависимостта на бекенда на всяка операция: повечето основни функции на Teams и директният достъп до файлове на SharePoint останаха функционални, докато функциите, зависими от Exchange, бяха нарушени.
• Microsoft съобщи, че върнатите сървъри могат отново да станат неотговарящи, когато трафикът достигне до тях; обяснението за техния компонент за обработка на изправността остана хипотеза.
• Разширеното четиридесет и осемчасово време за изчакване на имейли имаше за цел да запази забавените пощи по време на обработката на опашката и изоставането. То не беше краен срок за ремонт или универсална гаранция за доставка.
• Обичайните указания за регулиране на Graph препоръчват да се спазва Retry-After и експоненциално отстъпване, когато този хедър липсва; те не диагностицират или поправят този инцидент.

Преведен препис

Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.

Защо върнатите сървъри отново се провалиха?

0:00 Microsoft върна пощенските сървъри в експлоатация. Те можеха отново да спрат да отговарят, когато трафикът се върнеше. Ето продължението за разработчици. В това видео, защо възстановяването продължаваше да се проваля? И кои части от вашето приложение все още работеха? Microsoft също така даде четиридесет и осем часа за забавените имейли. Какво всъщност ви осигурява това? Петък, тринадесети ноември е и това е The Daily Diff.

0:18 Exchange Online е хостваната имейл услуга на Microsoft, а други функции на Microsoft три

Кои функции зависеха от Exchange?

0:22 шестдесет и пет зависят от нея. Ето полезното разграничение от страницата за състояние на Microsoft. Обажданията и груповите чатове на Teams до голяма степен работеха. Календарните функции и заявките за данни от пощенски кутии можеха да се провалят. Проверете зависимостта, която вашето приложение всъщност използва. Това означава, че среща все още може да се проведе, докато календарът отказва да сътрудничи. Директният достъп до файлове в SharePoint също остана функционален, докато някои функции за споделяне бяха засегнати.

0:42 Логото на прозореца ви казва много малко за това, кой бекенд е необходим за следващото ви кликване. Прекъсването започна в четвъртък, като Microsoft първоначално разследваше достъпа до пощенски кутии в Америка. След това потвърди, че потребители във всеки регион могат да бъдат засегнати. CNN съобщи за проблеми в банки, правителства и съдилища. Липсващ имейл е неудобство, докато нечия реална работа не зависи от неговото пристигане. Ранното обяснение на Microsoft беше загуба на налични сървъри.

Как липсващият капацитет претоварва дадена услуга?

1:06 Работата, която тези машини трябваше да обработват, натовари останалата инфраструктура. Можете да претоварите услуга с обичайно търсене, когато нейният капацитет изчезне. Опашката става по-дълга, дори ако никой внезапно не е открил страст към изпращане на имейли. След това компанията разследва автоматизирани проверки за изправност. Тези проверки помагат да се реши дали даден сървър може да поеме работа. Microsoft заяви, че компонент, обработващ изправността на сървъра, може да е замесен. Това е хипотеза от разследване, което все още е в ход.

1:29 Нямаме окончателен доклад за инцидента, обясняващ точно защо тези сървъри първо станаха недостъпни. Актуализациите изглеждат като дежурна смяна, която прогресивно

Какво опита Microsoft първо?

1:37 губи интерес към закуската. Пауза на разгръщанията. Преместване на трафика. Рестартиране на сървърите. Microsoft валидира алтернативна проверка на изправността, която върна подмножество обратно, и подготви автоматизирани системи за откриване и рестартиране на неотговарящи машини. Всяка актуализация описваше опит за възстановяване на капацитета. След това дойде редът, който обяснява цикъла на възстановяване. Microsoft заяви, че върнатите в експлоатация сървъри могат отново да станат неотговарящи след като получат трафик.

1:59 Машина може да се върне, да получи реална работа и да спре да отговаря. Това наблюдение е по-силно доказателство от всяка уверена теория в отговорите. Представете си същия сървър през тези състояния. Недостъпен. Върнат в експлоатация. Приема трафик. Отново неотговарящ. Това илюстрира разказа на Microsoft. Какво предизвиква последния преход остава без отговор. Рестартът може да доведе до временно

2:18 подобрение, докато състоянието, което поразява сървъра, остава нерешено. Съветът да го изключите и включите отново започва да таксува извънреден труд. Инженерите трябва да проверят какво се случва, след като работата се върне. Клиентите се нуждаят услугата да продължи да работи при следващата заявка, и следващата. Microsoft ограничи определен трафик, достигащ засегнатата инфраструктура на някои местоположения. Също така преизгради подмножество от сървъри, използвайки предишна конфигурация, за да

2:39 тества дали те ще останат отзивчиви. Това бяха докладвани експерименти за смекчаване. Паузирането на разгръщанията по време на възстановяване не ни дава доказателства, че едно петъчно разгръщане е причинило първоначалния срив.

Какво беше известно към крайния срок за отчитане?

2:48 Към петъчната актуализация на Microsoft в единадесет и четири UTC, действията по възстановяване бяха завършени в части от Азиатско-тихоокеанския регион. Трафикът постепенно се връщаше, с подобрения в достъпа до пощенски кутии и обработката на забавени имейли. Някои потребители все още можеха да се сблъскат с периодични проблеми, а възстановяването на други места продължаваше. Това е нашият краен срок за отчитане. Microsoft заяви, че няма доказателства за злонамерена дейност, и обеща пълен доклад за инцидента след смекчаването.

3:10 Бих изчакал този доклад, преди да приписвам виновник. Детективската работа в интернет може да ви даде виновник, преди дори да сте приключили с опресняването на страницата. За разработчиците, Microsoft Graph прави зависимостта особено лесна за пропускане.

Защо една Graph заявка може да се провали?

3:20 Неговите заявки за Exchange поща, календар и контакти можеха да изтекат. Вашето приложение може успешно да извика Graph за една операция и да се провали при друга. Успешна несвързана заявка ви казва малко за това дали операцията с пощенска кутия, от която се нуждае вашият потребител, ще приключи. Страницата за състояние дори се нуждаеше от собствен път за излизане. Microsoft публикува информация за инцидента публично, защото администраторите може да не успеят да заредят административния център, за да прочетат състоянието на услугата. Когато таблото за управление за откриване на това, което е счупено, зависи от това, което е счупено,

3:46 таблото за управление се е присъединило към инцидента. Дръжте наличен извънлентов статус линк. За обикновено регулиране на Graph, указанията на Microsoft казват да се спазва забавянето при повторен опит, когато заявката получи твърде много заявки като отговор, и да се използва експоненциално отстъпване, когато този хедър липсва. Тези указания управляват регулирането. Те не диагностицират този срив или не обещават, че повторните опити възстановяват услугата. Сега четиридесет и осемте часа.

Какво дава 48-часовият прозорец за поща?

4:05 Разширената страница за състояние на Microsoft казва, че е приоритизирала обработката на опашката и изоставането и е разширила прозореца за изчакване на имейли, за да запази забавените съобщения. Това дава повече време за забавената поща по време на възстановяване. Задава прозорец за изчакване на пощата. Microsoft не даде четиридесет и осемчасов срок за отстраняване на услугата, и никаква гаранция, че всяко съобщение ще пристигне. Така че поддържайте твърденията за доставка честни. Забавено известие не е задължително да е изчезнало,

4:28 и съобщение в опашката не е задължително да е достигнало своя получател. За чувствителна към времето работа, проверете резултата чрез одобрен независим канал. Клиентският прозорец е оптимистична разписка за доставка, когато бекендът все още се възстановява. Което оставя много за четене в евентуалния доклад за инцидента. Ако предпочитате да прочетете това, вместо да ме чуете да го казвам, "разликата" пристига във вашата пощенска кутия всяка сутрин, безплатно на daily diff dot dev, линк по-долу. И така, днешната присъда, НУЖДАЕ СЕ ОТ ПРЕГЛЕД.

Какво би трябвало да докаже устойчивото възстановяване?

4:49 Бих държал възстановяването под преглед, защото собствените актуализации на Microsoft показаха, че върнати сървъри се провалят при трафик. Полезният тест е устойчива услуга с реална работа, която преминава. До окончателния доклад, първоначалната причина остава отворена. И това е разликата за днес. Аз съм Нико от Axrisi. Обединявайте отговорно.

Източници

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting