A recuperação do Outlook da Microsoft continuava falhando sob tráfego

O que este vídeo aborda

• Verifique a dependência de backend de cada operação: a maioria das funcionalidades essenciais do Teams e o acesso direto a arquivos do SharePoint permaneceram funcionais, enquanto os recursos dependentes do Exchange foram prejudicados.
• A Microsoft relatou que os servidores retornados poderiam ficar novamente sem resposta quando o tráfego os atingisse; sua explicação do componente de processamento de saúde permaneceu uma hipótese.
• O tempo limite estendido de quarenta e oito horas para e-mails tinha como objetivo preservar e-mails atrasados durante o processamento de fila e backlog. Não era um prazo de reparo ou garantia de entrega universal.
• A orientação comum de limitação do Graph recomenda honrar Retry-After e backoff exponencial quando esse cabeçalho estiver ausente; não diagnostica nem repara este incidente.

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

Por que os servidores retornados falharam novamente?

0:00 A Microsoft recolocou os servidores de e-mail em serviço. Eles poderiam parar de responder novamente quando o tráfego retornasse. Aqui está o acompanhamento do desenvolvedor. Neste vídeo, por que a recuperação continuava falhando? E quais partes do seu aplicativo ainda funcionavam? A Microsoft também deu quarenta e oito horas para e-mails atrasados. O que isso realmente te proporciona? É sexta-feira, treze de novembro, e este é The Daily Diff.

0:18 O Exchange Online é o serviço de e-mail hospedado da Microsoft, e outros recursos do Microsoft 365 dependem dele.

Quais recursos dependiam do Exchange?

0:22 Apresentamos a distinção útil da página de status da Microsoft. Chamadas do Teams e bate-papos em grupo funcionaram na maioria das vezes. Recursos de calendário e solicitações de dados de caixa de correio podiam falhar. Verifique a dependência que seu aplicativo realmente usa. Isso significa que uma reunião ainda pode acontecer enquanto o calendário se recusa a cooperar. O acesso direto a arquivos no SharePoint também permaneceu funcional, enquanto alguns recursos de compartilhamento foram afetados. O logotipo na janela informa muito pouco sobre qual backend seu próximo clique

0:42 precisa. A interrupção começou na quinta-feira, com a Microsoft inicialmente investigando o acesso à caixa de correio nas Américas. Em seguida, confirmou que usuários em qualquer região poderiam ser afetados. A CNN relatou problemas em bancos, governos e tribunais. Um e-mail perdido é inconveniente até que o trabalho real de alguém dependa de sua chegada. A explicação inicial da Microsoft foi uma perda de servidores disponíveis. O trabalho que essas máquinas deveriam ter lidado sobrecarregou a infraestrutura

Como a falta de capacidade sobrecarrega um serviço?

1:06 restante. Você pode sobrecarregar um serviço com demanda comum quando sua capacidade desaparece. A fila aumenta mesmo que ninguém tenha descoberto de repente uma paixão por enviar e-mails. A empresa então investigou verificações automatizadas de saúde. Essas verificações ajudam a decidir se um servidor pode receber trabalho. A Microsoft disse que um componente que processa a saúde do servidor pode estar envolvido. Essa é uma hipótese de uma investigação ainda em andamento. Não temos um relatório de incidente final explicando exatamente por que esses servidores

1:29 ficaram indisponíveis pela primeira vez. As atualizações parecem um turno de plantão ficando progressivamente menos interessado no café da manhã.

O que a Microsoft tentou primeiro?

1:37 Pausar implantações. Mover tráfego. Reiniciar servidores. A Microsoft validou uma verificação de integridade alternativa que trouxe um subconjunto de volta e preparou sistemas automatizados para detectar e reiniciar máquinas sem resposta. Cada atualização descrevia uma tentativa de recuperar capacidade. Então veio a linha que explica o loop de recuperação. A Microsoft disse que os servidores devolvidos ao serviço poderiam ficar sem resposta novamente assim que recebessem tráfego. Uma máquina poderia voltar, receber trabalho real e parar de responder.

1:59 Essa observação é uma evidência mais forte do que a teoria confiante de qualquer um nas respostas. Imagine o mesmo servidor passando por esses estados. Indisponível. Retornado ao serviço. Recebendo tráfego. Sem resposta novamente. Isso ilustra o relato da Microsoft. O que desencadeia essa última transição permanece sem resposta. Uma reinicialização pode produzir uma melhora temporária, enquanto a condição que derrota

2:18 o servidor permanece sem solução. O conselho de desligar e ligar começa a cobrar hora extra. Os engenheiros precisam verificar o que acontece depois que o trabalho retorna. Os clientes precisam que o serviço continue funcionando na próxima solicitação, e na próxima. A Microsoft limitou certo tráfego atingindo a infraestrutura afetada em algumas localidades. Também reconstruiu um subconjunto de servidores usando uma configuração anterior para testar se eles permaneceriam responsivos.

2:39 Esses foram experimentos de mitigação relatados. Pausar implantações durante a recuperação não nos dá nenhuma evidência de que uma implantação de sexta-feira causou a interrupção original. Pela atualização de sexta-feira da Microsoft às 11:04 UTC,

O que se sabia no momento do corte do relatório?

2:48 as ações de recuperação terminaram em partes da Ásia-Pacífico. O tráfego estava retornando gradualmente, com melhorias no acesso à caixa de correio e no processamento de e-mails atrasados. Alguns usuários ainda podiam enfrentar problemas intermitentes, e a recuperação em outros lugares continuava. Esse é o nosso corte de relatório. A Microsoft disse que não tinha evidências de atividade maliciosa, e prometeu um relatório de incidente completo após a mitigação. Eu esperaria por esse relatório antes de atribuir um vilão.

3:10 O trabalho de detetive da Internet pode te dar um culpado antes mesmo de você terminar de atualizar a página. Para desenvolvedores, o Microsoft Graph torna a dependência especialmente fácil de perder. Suas solicitações para e-mail, calendário e contatos do Exchange podiam expirar.

Por que uma solicitação do Graph poderia falhar?

3:20 Seu aplicativo pode chamar o Graph com sucesso para uma operação e falhar em outra. Uma solicitação não relacionada bem-sucedida informa pouco sobre se a operação de caixa de correio que seu usuário precisa será concluída. A página de status até precisava de sua própria rota de fuga. A Microsoft publicou informações sobre o incidente porque os administradores podem não conseguir carregar o centro de administração para ler a integridade do serviço. Quando o painel para descobrir o que está quebrado depende do que está quebrado, o painel se juntou ao incidente.

3:46 Mantenha um link de status fora da banda disponível. Para a limitação comum do Graph, a orientação da Microsoft diz para honrar o atraso de tentativa quando uma solicitação recebe uma resposta de "muitas solicitações", e usar o backoff exponencial quando esse cabeçalho estiver ausente. Essa orientação gerencia a limitação. Não diagnostica essa interrupção nem promete que as tentativas restaurarão o serviço. Agora, as quarenta e oito horas. A página de status expandida da Microsoft diz que priorizou o processamento de fila e backlog

O que a janela de e-mail de 48 horas proporciona?

4:05 e estendeu a janela de tempo limite de e-mail para preservar mensagens atrasadas. Isso dá mais tempo para e-mails atrasados durante a recuperação. Ele define uma janela de tempo limite de e-mail. A Microsoft não deu um prazo de quarenta e oito horas para corrigir o serviço, e nenhuma garantia de que todas as mensagens chegariam. Portanto, mantenha as reivindicações de entrega honestas. Uma notificação atrasada não desapareceu necessariamente, e uma mensagem em fila não chegou necessariamente ao seu destinatário.

4:28 Para trabalhos sensíveis ao tempo, verifique o resultado por meio de um canal independente aprovado. Uma janela de cliente é um recibo de entrega otimista quando o backend ainda está se recuperando. O que deixa muito a ler no eventual relatório de incidente. Se você preferir ler isso a me ouvir dizer, o resumo chega em sua caixa de entrada todas as manhãs, gratuitamente em thedailydiff.dev, link abaixo. Então, o veredicto de hoje, NEEDS REVIEW. Eu manteria a recuperação sob revisão porque as próprias atualizações da Microsoft mostraram

O que a recuperação sustentada precisaria provar?

4:49 servidores retornados falhando sob tráfego. O teste útil é o serviço sustentado com trabalho real chegando. Até o relatório final, a causa inicial permanece em aberto. E essa é a diferença de hoje. Sou Niko da Axrisi. Mescle com responsabilidade. Mescle com responsabilidade.

Fontes

1. ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
2. Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
3. Health-processing component investigation hypothesisMicrosoft 365 Status
4. Alternative health check returned a subset of serversMicrosoft 365 Status
5. Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
6. Unavailable servers strain remaining infrastructureMicrosoft 365 Status
7. Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
8. Users in any region may be affectedMicrosoft 365 Status
9. Email timeout extended to preserve delayed messagesMicrosoft 365 Status
10. Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
11. Independent live reporting on the Microsoft email disruptionCNN
12. Microsoft Graph throttling guidanceMicrosoft Learn
13. Exchange Online service descriptionMicrosoft Learn
14. Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
15. Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
16. WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
17. The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting