+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook s'est auto-supprimé d'Internet. Six heures.

Facebook a retiré sa propre adresse d'Internet, et lorsque ses ingénieurs sont arrivés pour la remettre, les lecteurs de badges étaient également en panne, car ils fonctionnent sur Facebook.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook a retiré sa propre adresse d'Internet, et lorsque ses ingénieurs sont arrivés pour la remettre, les lecteurs de badges étaient également en panne, car ils fonctionnent sur Facebook. 4 octobre 2021, 15:40 UTC : une commande de maintenance de routine de l'épine dorsale a interrompu toutes les liaisons entre les centres de données de Facebook ; l'outil d'audit conçu pour la bloquer avait un bogue ; les serveurs de noms de Facebook, incapables d'atteindre les centres de données, ont retiré leurs propres routes BGP par conception — et facebook.com, Instagram, WhatsApp et Messenger ont disparu du DNS pendant près de six heures. Les outils internes, l'accès hors bande et les badges de bureau utilisent le même réseau, donc la correction nécessite des personnes au niveau des racks.

Lire l'édition écrite (anglais) ↗

Ce que couvre cette vidéo

  • Facebook retire sa propre adresse
  • Les preuves : Meta Engineering, Cloudflare, Hacker News
  • Ceci est The Daily Diff, post-mortem
  • Chronologie : 15:39 commande → 15:40 retiré → 21:20 rétabli
  • Mécanisme : la vérification de santé qui vous supprime, la tempête DNS 30x, les portes

Questions et réponses

Qu'est-ce qui a causé la panne de Facebook, Instagram et WhatsApp en octobre 2021?

Une commande de maintenance de routine de l'infrastructure a désactivé chaque lien entre les centres de données de Facebook, et l'outil d'audit censé bloquer de telles commandes comportait un bug. Selon le compte-rendu d'ingénierie de Meta, cela a déconnecté les centres de données les uns des autres. À 15h40 UTC, Cloudflare a constaté le retrait des routes vers les serveurs de noms de Facebook, et facebook.com a renvoyé SERVFAIL jusqu'à ce qu'il se résolve à nouveau à 21h20.

Regardez cette partie 0:40 · engineering.fb.com · blog.cloudflare.com

Pourquoi les serveurs DNS de Facebook se sont-ils retirés d'Internet?

Les serveurs de noms ont été conçus pour retirer leurs propres routes BGP lorsqu'ils ne pouvaient pas atteindre les centres de données. Cette règle est sensée lorsqu'un site tombe en panne. Lorsque l'ensemble de l'infrastructure a échoué, chaque serveur de noms s'est déclaré malsain en même temps et a cessé de publier son adresse. Les serveurs fonctionnaient toujours, mais personne ne pouvait les trouver.

Regardez cette partie 1:20 · engineering.fb.com · blog.cloudflare.com

Pourquoi les ingénieurs de Facebook n'ont-ils pas pu réparer la panne à distance?

Les outils internes, l'accès hors bande et les lecteurs de badges de bureau fonctionnaient tous sur le même réseau qui était tombé en panne. Les ingénieurs ont dû se rendre aux centres de données, où les racks étaient renforcés contre quiconque ayant un accès physique. Le New York Times a rapporté des employés enfermés hors des bâtiments avec des badges morts à 18h51 UTC.

Regardez cette partie 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Comment la panne de Facebook a-t-elle affecté le reste d'Internet?

Les applications ont réessayé et les utilisateurs ont rechargé, de sorte que le résolveur de Cloudflare a vu trente fois sa charge normale pour un site qui n'était pas joignable. L'épisode évalue le rayon d'impact à trois milliards et demi d'utilisateurs pendant près de six heures. Il rapporte également que Telegram a revendiqué soixante-dix millions d'inscriptions ce jour-là.

Regardez cette partie 2:25 · blog.cloudflare.com · www.reuters.com

La post-mortem de Facebook a-t-elle résolu les problèmes fondamentaux à l'origine de la panne?

Le verdict de The Daily Diff était NEEDS REVIEW. Facebook a publié une déclaration le soir même, a publié un post-mortem avec un auteur nommé dans un délai d'un jour et a admis le bug de l'outil d'audit en termes simples. Sa liste de correctifs mettait l'accent sur des tests et des exercices plus rigoureux et ne disait rien sur le retrait des portes du réseau de production. L'épisode conseille de mettre l'accès hors bande sur un réseau que vous n'exploitez pas.

Regardez cette partie 2:38 · engineering.fb.com · engineering.fb.com

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.

Facebook retire sa propre adresse

0:00 Facebook retire sa propre adresse d'Internet, et quand ses ingénieurs arrivent pour la remettre, les lecteurs de badges sont en panne aussi, parce qu'ils fonctionnent sur Facebook. Le propre post-mortem de Meta, le lendemain : une commande de maintenance de routine coupe tous les liens de l'épine dorsale, et l'outil conçu pour bloquer de telles commandes a un bogue.

Les preuves : Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, de l'extérieur : à 15h40 UTC, les routes vers les serveurs de noms de Facebook disparaissent, et dig facebook.com renvoie SERVFAIL partout sur la planète. Comment ça se passe, pourquoi une fonction de sécurité aggrave les choses, et qui est à blâmer. Ceci est The Daily Diff, post-mortem. Début d'après-midi, UTC.

Ceci est The Daily Diff, post-mortem

0:34 Une commande censée vérifier la capacité libre de l'épine dorsale coupe au lieu de cela toutes les liaisons entre les centres de données de Facebook, et l'outil d'audit construit pour détecter exactement cela

Chronologie : 15:39 commande → 15:40 retiré → 21:20 rétabli

0:41 le laisse passer. 15:40. Le flux BGP de Cloudflare se remplit de retraits ; les préfixes DNS de Facebook quittent la table de routage. En une minute, les ingénieurs de Cloudflare sont dans une pièce à se demander s'ils ont cassé 1.1.1.1. 15:45, Hacker News, vingt-six cents points. 16:07, le porte-parole de Facebook, sur Twitter de tous les endroits : certaines personnes ont des difficultés à accéder à nos applications. Certaines personnes, c'est trois milliards et demi.

1:06 18:51, le New York Times : les employés sont enfermés hors de leurs bâtiments, les badges sont morts. 19:52, le CTO s'excuse. 21:00, cinq heures plus tard, les routes reviennent ; 21:20, facebook.com résout. Pourquoi une panne de l'épine dorsale supprime-t-elle Facebook d'Internet ?

Mécanisme : la vérification de santé qui vous supprime, la tempête DNS 30x, les portes

1:20 Ses serveurs de noms ont une règle : ne peuvent pas atteindre les centres de données, se déclarer malsain, arrêter d'annoncer son adresse. Sensé quand un site tombe en panne. Quand toute l'épine dorsale tombe, chaque serveur de noms le fait en même temps. Les serveurs sont actifs. Personne ne peut les trouver. Une fonction de sécurité transforme une panne réseau en une panne d'existence. Ensuite, Internet s'y met : les applications réessayent, les utilisateurs rechargent,

1:39 et le résolveur de Cloudflare voit trente fois sa charge normale, pour un site qui n'est pas là. Et les portes. Outils, accès hors bande, badges : même réseau. Les ingénieurs se rendent aux centres de données, ne peuvent pas entrer, puis rencontrent des racks renforcés contre toute personne ayant un accès physique. Construit pour ralentir un attaquant, il ralentit aussi le propriétaire. L'épine dorsale revient ; ils augmentent le trafic lentement, exprès.

1:59 Chaque centre de données a perdu des dizaines de mégawatts, et inverser cela en une seule étape est une deuxième panne.

git blame — la scission

2:05 git blame. Facebook, cinquante-cinq pour cent : la commande a été auditée, l'auditeur avait le bogue, une commande a atteint tous les routeurs. La conception DNS, vingt-cinq : une vérification de santé sans aucun sens des proportions. Un réseau, quinze : outils, hors bande, badges. Les racks, cinq, pour avoir fait leur travail. Rayon d'impact : trois milliards et demi d'utilisateurs, près de six heures. L'action clôture en baisse de cinq pour cent, six milliards de moins pour Zuckerberg,

Rayon d'impact

2:27 sur le papier. Telegram revendique soixante-dix millions d'inscriptions ce jour-là. Verdict, post-mortem : NEEDS REVIEW. Déclaration le soir même, post-mortem d'un auteur nommé en moins d'une journée, bogue de l'outil d'audit admis en clair.

Verdict + la ligne du lundi

2:38 La liste des correctifs : renforcer les tests et les exercices. Rien sur le fait de retirer les portes du réseau de production. Lundi : mettez votre accès hors bande, et votre porte, sur un réseau que vous n'opérez pas. Envoyez-moi l'incident dont vous n'êtes toujours pas autorisé à parler, dans les commentaires, ou à the daily diff dot dev. Et c'est la diff pour aujourd'hui. Je suis Niko d'Axrisi.

2:58 SHIP IT de manière responsable.

Sources

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vidéos similaires