La recuperació d'Outlook de Microsoft seguia fallant sota trànsit

Què cobreix aquest vídeo

• Comproveu la dependència del backend de cada operació: la major part de la funcionalitat bàsica de Teams i l'accés directe als fitxers de SharePoint van romandre funcionals, mentre que les funcions dependents d'Exchange van quedar afectades.
• Microsoft va informar que els servidors retornats podien tornar a ser inoperatius quan el trànsit els arribava; la seva explicació del component de processament de salut va romandre una hipòtesi.
• El temps d'espera ampliat de quaranta-vuit hores per al correu electrònic tenia la intenció de preservar el correu endarrerit durant el processament de la cua i el backlog. No era un termini de reparació ni una garantia de lliurament universal.
• La guia ordinària de limitació de Graph recomana honorar Retry-After i l'exponencial backoff quan aquesta capçalera està absent; no diagnostica ni repara aquest incident.

Transcripció traduïda

Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.

Per què van tornar a fallar els servidors retornats?

0:00 Microsoft va tornar a posar en servei els servidors de correu. Podien deixar de respondre de nou quan tornava el trànsit. Aquí teniu el seguiment del desenvolupador. En aquest vídeo, per què la recuperació seguia fallant? I quines parts de la vostra aplicació encara funcionaven? Microsoft també va donar quaranta-vuit hores al correu electrònic endarrerit. Què us proporciona això realment? És divendres, tretze de novembre, i això és The Daily Diff.

0:18 Exchange Online és el servei de correu electrònic allotjat de Microsoft, i altres funcions de Microsoft 3

Quines funcions depenien d'Exchange?

0:22 65 en depenen. Aquí teniu la distinció útil de la pàgina d'estat de Microsoft. Les trucades i els xats de grup de Teams majoritàriament van funcionar. Les funcions de calendari i les sol·licituds de dades de la bústia podien fallar. Comproveu la dependència que la vostra aplicació utilitza realment. Això significa que una reunió encara pot tenir lloc mentre el calendari es nega a cooperar. L'accés directe als fitxers a SharePoint també va romandre funcional, mentre que algunes funcions de compartició van quedar afectades.

0:42 El logotip de la finestra us diu molt poc sobre quin backend necessita el vostre següent clic. La interrupció va començar dijous, amb Microsoft investigant inicialment l'accés a les bústies a les Amèriques. Després va confirmar que els usuaris de qualsevol regió podien estar afectats. CNN va informar de problemes en bancs, governs i tribunals. Un correu electrònic perdut és inconvenient fins que el treball real d'algú depèn de la seva arribada. La primera explicació de Microsoft va ser una pèrdua de servidors disponibles.

Com sobrecarrega un servei la manca de capacitat?

1:06 El treball que aquestes màquines haurien d'haver gestionat va tensar la infraestructura restant. Podeu sobrecarregar un servei amb una demanda ordinària quan la seva capacitat desapareix. La cua s'allarga encara que ningú hagi descobert de sobte una passió per enviar correu electrònic. L'empresa va investigar llavors les comprovacions de salut automatitzades. Aquestes comprovacions ajuden a decidir si un servidor pot assumir feina. Microsoft va dir que un component que processava la salut del servidor podria estar implicat. Aquesta és una hipòtesi d'una investigació encara en curs.

1:29 No tenim un informe final d'incidències que expliqui exactament per què aquests servidors es van tornar inoperatius per primera vegada. Les actualitzacions es llegeixen com un torn de guàrdia

Què va provar Microsoft primer?

1:37 cada vegada menys interessat en l'esmorzar. Pausa desplegaments. Moure trànsit. Reinicia els servidors. Microsoft va validar una comprovació de salut alternativa que va restaurar un subconjunt i va preparar sistemes automatitzats per detectar i reiniciar màquines que no responien. Cada actualització descrivia un intent de recuperar la capacitat. Després va venir la línia que explica el bucle de recuperació. Microsoft va dir que els servidors tornats al servei podien tornar a ser inoperatius una vegada que rebien trànsit.

1:59 Una màquina podia tornar, rebre treball real i deixar de respondre. Aquesta observació és una evidència més sòlida que la teoria confiada de ningú a les respostes. Imagineu el mateix servidor a través d'aquests estats. Inoperatiu. Tornat al servei. Rebent trànsit. Inoperatiu de nou. Això il·lustra el relat de Microsoft. Què desencadena aquesta última transició roman sense resposta. Un reinici pot produir una millora

2:18 temporal mentre la condició que derrota el servidor roman sense resoldre. El consell d'apagar-lo i tornar-lo a encendre comença a generar hores extres. Els enginyers han de comprovar què passa després que el treball torni. Els clients necessiten que el servei segueixi funcionant amb la següent sol·licitud, i la següent. Microsoft va limitar cert trànsit que arribava a la infraestructura afectada en algunes ubicacions. També va reconstruir un subconjunt de servidors utilitzant una configuració prèvia per

2:39 provar si es mantindrien actius. Aquests van ser experiments de mitigació reportats. Pausar els desplegaments durant la recuperació no ens dóna cap evidència que un desplegament de divendres causés la interrupció original.

Què se sabia al moment del tall de la informació?

2:48 Segons l'actualització de divendres de Microsoft a les onze i quatre UTC, les accions de recuperació havien finalitzat en parts d'Àsia Pacífic. El trànsit estava tornant gradualment, amb millores en l'accés a la bústia i el processament de correu electrònic endarrerit. Alguns usuaris encara podien enfrontar-se a problemes intermitents, i la recuperació en altres llocs continuava. Això és el nostre tall de la informació. Microsoft va dir que no tenia evidències d'activitat maliciosa, i va prometre un informe complet de l'incident després de la mitigació.

3:10 Esperaria aquest informe abans d'assignar un dolent. El treball de detectiu d'Internet pot donar-vos un culpable abans que hàgiu acabat d'actualitzar la pàgina. Per als desenvolupadors, Microsoft Graph fa que la dependència sigui especialment fàcil de passar per alt.

Per què podia fallar una sol·licitud de Graph?

3:20 Les seves sol·licituds de correu, calendari i contactes d'Exchange podien expirar. La vostra aplicació pot cridar Graph amb èxit per a una operació i fallar en una altra. Una sol·licitud no relacionada amb èxit us diu poc sobre si l'operació de bústia que el vostre usuari necessita es completarà. La pàgina d'estat fins i tot necessitava la seva pròpia via d'escapament. Microsoft va publicar informació de l'incident públicament perquè els administradors podien no poder carregar el centre d'administració per llegir l'estat del servei. Quan el tauler per descobrir què està trencat depèn del que està trencat,

3:46 el tauler s'ha unit a l'incident. Mantingueu un enllaç d'estat fora de banda disponible. Per a la limitació de Graph ordinària, la guia de Microsoft diu que s'ha de respectar el retard de reintent quan una sol·licitud obté una resposta de massa sol·licituds, i utilitzar l'exponencial backoff quan aquesta capçalera està absent. Aquesta guia gestiona la limitació. No diagnostica aquesta interrupció ni promet que els reintents restaurin el servei. Ara les quaranta-vuit hores.

Què guanya la finestra de correu de 48 hores?

4:05 La pàgina d'estat ampliada de Microsoft diu que va prioritzar el processament de la cua i el backlog i va estendre la finestra de temps d'espera del correu electrònic per preservar els missatges endarrerits. Això dóna més temps al correu endarrerit durant la recuperació. Estableix una finestra de temps d'espera del correu. Microsoft no va donar un termini de quaranta-vuit hores per arreglar el servei, i cap garantia que tots els missatges arribarien. Així que manteniu les afirmacions de lliurament honestes. Una notificació endarrerida no ha desaparegut necessàriament,

4:28 i un missatge en cua no ha arribat necessàriament al seu destinatari. Per a treballs sensibles al temps, verifiqueu el resultat a través d'un canal independent aprovat. Una finestra de client és un rebut de lliurament optimista quan el backend encara s'està recuperant. La qual cosa deixa molt per llegir a l'eventual informe d'incidència. Si preferiu llegir això que sentir-me dir-ho, la diferència arriba a la vostra bústia cada matí, gratis a the daily diff dot dev, enllaç a sota. Així que el veredicte d'avui, CAL REVISAR.

Què necessitaria una recuperació sostinguda per demostrar?

4:49 Mantindria la recuperació sota revisió perquè les pròpies actualitzacions de Microsoft van mostrar servidors retornats fallant sota trànsit. La prova útil és el servei sostingut amb treball real que arriba. Fins a l'informe final, la causa inicial roman oberta. I aquesta és la diferència d'avui. Sóc Niko d'Axrisi. Fusiona amb responsabilitat.

Fonts

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting