Une expression régulière a fait tomber Cloudflare. 27 minutes.
Le 2 juillet 2019, 13 h 42 UTC : une nouvelle règle pour le pare-feu d'application Web de Cloudflare est mise en ligne dans plus de 180 villes en environ deux secondes.
Le 2 juillet 2019, 13 h 42 UTC : une nouvelle règle pour le pare-feu d'application Web de Cloudflare est mise en ligne dans plus de 180 villes en environ deux secondes. Il s'agit d'une règle XSS en mode simulation, elle ne bloque donc rien, mais elle s'exécute quand même sur chaque requête et se termine par .*(?:.*=.*). PCRE effectue un retour en arrière, chaque cœur de processeur servant des requêtes HTTP atteint 100 %, et chaque site utilisant le proxy Cloudflare renvoie une erreur 502 pendant 27 minutes; le trafic diminue de 82 %. Le coupe-circuit est derrière Cloudflare Access, qui est derrière Cloudflare. Autopsie, tirée de la propre analyse de Cloudflare : la protection CPU supprimée des semaines plus tôt lors d'un refactoring visant à économiser du CPU, la procédure qui permettait à n'importe quelle règle de sauter la mise en scène, le moteur sans garantie de complexité, les 11 causes et les 7 correctifs. Verdict sur le correctif : EXPÉDIEZ-LE.
Lire l'édition écrite (anglais) ↗
Ce que cette vidéo couvre
- 13 h 31 – 13 h 42 UTC : PR fusionnée, CI au vert (pas de test CPU), Quicksilver pousse la règle dans plus de 180 villes; les règles WAF sautent les étapes Chien → Cochon → Canari
- 13 h 45 – 14 h 07 : première page; CPU à 100 % dans le monde entier, trafic −82 %, 502 partout; le panneau de contrôle interne est derrière Cloudflare Access, qui est en panne; certaines informations d'identification ont expiré; un contournement rarement exercé
- 14 h 07 – 14 h 09 : arrêt global du WAF; trafic et CPU normaux après 27 minutes; 14 h 52 le WAF est de retour moins la règle
- 2 juillet (15 h 50 UTC) et 12 juillet : Cloudflare publie la note du jour même et l'autopsie complète; protection CPU rajoutée, 3 868 règles relues, déploiements échelonnés, passage à un moteur d'expressions régulières à temps linéaire
Questions et réponses
Comment une seule expression régulière peut-elle faire tomber un réseau mondial?
Une expression régulière avec un retour en arrière illimité peut bloquer chaque cœur de processeur qui l'évalue. Selon l'autopsie de Cloudflare, une nouvelle règle de pare-feu se terminait par .*(?:.*=.*), PCRE effectuait un retour en arrière à travers chaque autre division, et le CPU atteignait 100 % sur chaque cœur servant des requêtes HTTP. Les sites derrière Cloudflare ont renvoyé des erreurs 502 pendant 27 minutes et le trafic a chuté de 82 %.
Pourquoi une règle de pare-feu en mode simulation a-t-elle quand même provoqué une panne?
Le mode simulation empêche une règle de bloquer le trafic, mais la règle est toujours évaluée sur chaque requête. La règle fusionnée à 13 h 31 UTC le 2 juillet 2019 était une règle de script inter-sites en mode simulation, elle ne bloquait donc rien, mais elle s'exécutait quand même sur chaque requête. L'autopsie de Cloudflare indique que le coût de son évaluation a épuisé le CPU.
Comment une règle a-t-elle atteint tous les centres de données de Cloudflare en deux secondes?
Les règles de pare-feu ont ignoré le déploiement échelonné que d'autres versions ont traversé. Selon l'autopsie, la procédure permettait à toute règle de devenir globale d'un coup, car les règles existent pour arrêter les attaques en direct. Cette règle n'était pas une urgence, et Quicksilver l'a quand même poussée vers plus de 180 villes en environ deux secondes, sans test CPU dans l'intégration continue pour la détecter.
Pourquoi a-t-il fallu 27 minutes à Cloudflare pour désactiver le composant de pare-feu défectueux?
Le panneau de contrôle interne se trouvait derrière Cloudflare Access, qui se trouvait derrière Cloudflare, de sorte que la panne a bloqué l'accès au coupe-circuit. Certaines informations d'identification avaient expiré par inutilisation, et un contournement rarement exercé a pris environ cinq minutes. L'arrêt global du WAF a été appliqué à 14 h 07 UTC, et le trafic est redevenu normal à 14 h 09.
Les équipes devraient-elles conserver les moteurs d'expressions régulières avec retour en arrière dans le code de chemin de requête après la panne de Cloudflare?
Le verdict de The Daily Diff était EXPÉDIEZ-LE, pour le correctif de Cloudflare. La protection CPU a été restaurée, 3 868 règles ont été relues, les règles passent par des déploiements échelonnés, et le moteur passe à un moteur avec des garanties de temps linéaire. Le conseil pratique de l'épisode est d'éviter les modèles comme point-étoile point-étoile dans tout ce qui s'exécute sur chaque requête et de garder le coupe-circuit hors du système qu'il contrôle.
Transcription traduite
Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont contrôlés par YouTube.
0:00 Une expression régulière est mise en ligne sur chaque serveur Cloudflare à la fois, et pendant les vingt-sept minutes suivantes, les sites derrière elle sont une page 502, ce qui, pour un pare-feu, est le réglage le plus strict possible. Le 2 juillet 2019, 13 h 42 UTC. Cloudflare publie en moins de deux heures : pas une attaque, un mauvais déploiement, trafic en baisse de 82 pour cent. Dix jours plus tard, le directeur technique John Graham-Cumming publie l'autopsie complète, expression régulière incluse, et Hacker News lui donne 698 points,
0:26 ce qui pour une panne est une ovation debout. Comment cela arrive, pourquoi c'est possible, et qui est réellement à blâmer. Voici The Daily Diff, autopsie. 13 h 31. Une demande de tirage fusionne : une nouvelle règle de pare-feu contre les scripts inter-sites, en mode simulation, donc elle ne bloque rien. 13 h 37, les tests passent; aucun ne mesure le CPU. 13 h 42, la règle est envoyée à 180 villes en deux secondes, car les règles WAF ignorent les étapes chien, cochon et canari que d'autres versions obtiennent.
0:54 13 h 45, la première page. 13 h 49, Hacker News a un fil de discussion sur la page de statut, qui indique toujours que tous les systèmes sont opérationnels. La règle se termine par point-étoile, point-étoile, égal, point-étoile : n'importe quoi, puis n'importe quoi, puis un signe égal. PCRE devine avec avidité, échoue et effectue un retour en arrière à travers toutes les autres divisions. x égale x prend 23 étapes. Vingt x après l'égalité : 555.
1:15 Vingt x, pas de signe égal : 4 067 étapes pour ne rien trouver. Exécutez cela sur chaque requête et chaque cœur est à cent pour cent, ne faisant rien, minutieusement. Deux gardes auraient dû le détecter. La limite CPU sur les règles a été supprimée par erreur des semaines plus tôt, dans un refactor destiné à faire en sorte que le WAF utilise moins de CPU. Et la procédure permet à toute règle de sauter la mise en scène, car les règles existent pour arrêter les attaques en direct; celle-ci n'était pas une urgence, et elle est quand même devenue globale.
1:37 14 h 00, le WAF est identifié; pas d'attaque. 14 h 02, quelqu'un propose l'arrêt global : un composant, éteint, dans le monde entier. L'interrupteur est derrière Cloudflare Access. Cloudflare Access est derrière Cloudflare. Certaines informations d'identification ont expiré par inutilisation, de sorte que le réseau le plus rapide sur Internet passe cinq minutes sur un contournement que personne n'a exercé. 14 h 07, arrêt. 14 h 09, trafic normal. git blame : un déploiement à une seule vitesse, globale; une protection CPU refactorisée par
2:04 accident; un moteur d'expressions régulières sans limite supérieure. Pas l'ingénieur qui a écrit la règle : l'autopsie liste onze causes et ne nomme personne. Rayon d'explosion : 27 minutes, 82 pour cent du trafic, 100 pour cent de CPU sur chaque cœur, dans chaque ville. Le tableau de bord et l'API se trouvent derrière la même périphérie, de sorte que les clients ne peuvent même pas le désactiver. Hacker News, sous l'autopsie : ils avaient un problème, ont utilisé une expression régulière, maintenant ils en ont deux. Vieille blague. Se compile toujours.
2:28 Verdict, post-mortem : EXPÉDIEZ-LE. La protection CPU est de retour, les 3 868 règles sont relues à la main, les règles passent par des déploiements échelonnés, et le moteur passe à un moteur avec des garanties de temps linéaire, publié par Ken Thompson en 1968. Lundi : pas de point-étoile point-étoile dans tout ce qui s'exécute par requête, et gardez le coupe-circuit hors de ce qu'il tue. Envoyez-moi l'incident dont vous n'êtes toujours pas autorisé à parler, dans les commentaires, ou à the daily diff point dev.
2:53 Et c'est la différence pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.
Sources
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



