Une expression régulière a fait tomber Cloudflare. 27 minutes.
2 juillet 2019, 13:42 UTC : une nouvelle règle pour le pare-feu d'application web de Cloudflare est déployée dans plus de 180 villes en deux secondes environ.
2 juillet 2019, 13:42 UTC : une nouvelle règle pour le pare-feu d'application web de Cloudflare est déployée dans plus de 180 villes en deux secondes environ. C'est une règle XSS en mode simulation, donc elle ne bloque rien, mais elle s'exécute quand même sur chaque requête, et elle se termine par .*(?:.*=.*). PCRE fait des retours en arrière, chaque cœur de CPU servant des requêtes HTTP atteint 100 %, et chaque site mis en proxy par Cloudflare renvoie 502 pendant 27 minutes ; le trafic diminue de 82 %. Le "kill switch" se trouve derrière Cloudflare Access, qui se trouve derrière Cloudflare. Post-mortem, d'après le rapport de Cloudflare : la "CPU guard" supprimée des semaines auparavant lors d'une refactorisation visant à économiser du CPU, la procédure qui permettait à n'importe quelle règle de sauter la mise en scène, le moteur sans garantie de complexité, les 11 causes et les 7 correctifs. Verdict sur le correctif : SHIP IT.
Lire l'édition écrite (anglais) ↗
Ce que couvre cette vidéo
- 13:31–13:42 UTC : PR fusionné, CI au vert (pas de test CPU), Quicksilver déploie la règle dans plus de 180 villes ; les règles WAF sautent les étapes DOG → PIG → Canary
- 13:45–14:07 : première page ; CPU à 100 % dans le monde entier, trafic -82 %, 502 partout ; le panneau de contrôle interne est derrière Cloudflare Access, qui est en panne ; certains identifiants ont expiré ; un contournement rarement exercé
- 14:07–14:09 : terminaison WAF globale ; trafic et CPU normaux après 27 minutes ; 14:52 WAF de retour moins la règle
- 2 juillet (15:50 UTC) et 12 juillet : Cloudflare publie la note du jour même et le post-mortem complet ; "CPU guard" réactivé, 3 868 règles relues, déploiements échelonnés, passage à un moteur d'expressions régulières à temps linéaire
Questions et réponses
Comment une seule expression régulière peut-elle faire tomber un réseau mondial ?
Une expression régulière avec un retour en arrière illimité peut bloquer chaque cœur de CPU qui l'évalue. Selon le post-mortem de Cloudflare, une nouvelle règle de pare-feu se terminait par .*(?:.*=.*), PCRE effectuait un retour en arrière à travers chaque autre séparation, et le CPU atteignait 100 % sur chaque cœur servant des requêtes HTTP. Les sites derrière Cloudflare renvoyaient des erreurs 502 pendant 27 minutes et le trafic a chuté de 82 %.
Pourquoi une règle de pare-feu en mode simulation a-t-elle quand même provoqué une panne ?
Le mode simulation empêche une règle de bloquer le trafic, mais la règle est toujours évaluée sur chaque requête. La règle fusionnée le 2 juillet 2019 à 13:31 UTC était une règle de "cross-site scripting" en mode simulation, donc elle ne bloquait rien, mais elle s'exécutait sur chaque requête. Le post-mortem de Cloudflare indique que le coût de son évaluation a épuisé le CPU.
Comment une seule règle a-t-elle atteint tous les centres de données de Cloudflare en deux secondes ?
Les règles de pare-feu ont sauté le déploiement échelonné que d'autres versions ont traversé. Selon le post-mortem, la procédure a permis à n'importe quelle règle de devenir globale immédiatement parce que les règles existent pour arrêter les attaques en direct. Cette règle n'était pas une urgence, et Quicksilver l'a quand même poussée vers plus de 180 villes en deux secondes environ, sans test de CPU en CI pour la détecter.
Pourquoi a-t-il fallu 27 minutes à Cloudflare pour désactiver le composant de pare-feu défectueux ?
Le panneau de contrôle interne se trouvait derrière Cloudflare Access, qui se trouvait derrière Cloudflare, de sorte que la panne a bloqué l'accès au "kill switch". Certains identifiants avaient expiré par désuétude, et un contournement rarement exercé a pris environ cinq minutes. La terminaison WAF globale a été appliquée à 14:07 UTC, et le trafic est redevenu normal à 14:09.
Les équipes devraient-elles conserver les moteurs d'expressions régulières avec retour en arrière dans le code du chemin de requête après la panne de Cloudflare ?
Le verdict de The Daily Diff était SHIP IT, pour le correctif de Cloudflare. La "CPU guard" a été restaurée, 3 868 règles ont été relues, les règles passent par des déploiements échelonnés, et le moteur passe à un moteur avec des garanties de temps linéaire. Le conseil pratique de l'épisode est d'éviter les modèles comme "dot-star dot-star" dans tout ce qui s'exécute sur chaque requête et de garder le "kill switch" hors du système qu'il contrôle.
Transcription traduite
Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.
0:00 Une expression régulière est mise en ligne sur chaque serveur Cloudflare à la fois, et pendant les vingt-sept minutes suivantes, les sites derrière elle affichent une page 502, ce qui, pour un pare-feu, est le réglage le plus strict possible. 2 juillet 2019, 13:42 UTC. Cloudflare publie dans les deux heures : pas une attaque, un mauvais déploiement, trafic en baisse de 82 pour cent. Dix jours plus tard, le CTO John Graham-Cumming publie le post-mortem complet, expression régulière incluse, et Hacker News lui donne 698 points,
0:26 ce qui, pour une panne, est une standing ovation. Comment cela se produit, pourquoi c'est possible et qui est réellement à blâmer. Ceci est The Daily Diff, post-mortem. 13:31. Une "pull request" est fusionnée : une nouvelle règle de pare-feu contre le cross-site scripting, en mode simulation, donc elle ne bloque rien. 13:37, les tests passent ; aucun ne mesure le CPU. 13:42, la règle est déployée dans 180 villes en deux secondes, car les règles WAF sautent les étapes "dog", "pig" et "canary" des autres versions.
0:54 13:45, la première page. 13:49, Hacker News a un fil de discussion sur la page d'état, qui indique toujours que tous les systèmes sont opérationnels. La règle se termine par "dot-star, dot-star, equals, dot-star" : n'importe quoi, puis n'importe quoi, puis un signe égal. PCRE devine avec avidité, échoue et effectue un retour en arrière à travers chaque autre séparation. x égal x prend 23 étapes. Vingt x après l'égal : 555.
1:15 Vingt x, pas de signe égal : 4 067 étapes pour ne rien trouver. Exécutez cela sur chaque requête et chaque cœur est à cent pour cent, ne faisant rien, minutieusement. Deux gardes auraient dû le détecter. La limite de CPU sur les règles a été supprimée par erreur des semaines plus tôt, lors d'une refactorisation destinée à réduire l'utilisation du CPU par le WAF. Et la procédure permet à n'importe quelle règle de sauter la mise en scène, car les règles existent pour arrêter les attaques en direct ; celle-ci n'était pas une urgence, et elle est quand même devenue globale.
1:37 14:00, le WAF est identifié ; pas d'attaque. 14:02, quelqu'un propose l'arrêt global : un composant, éteint, dans le monde entier. L'interrupteur est derrière Cloudflare Access. Cloudflare Access est derrière Cloudflare. Certains identifiants ont expiré par désuétude, de sorte que le réseau le plus rapide sur Internet passe cinq minutes sur un contournement que personne n'a exercé. 14:07, arrêt. 14:09, trafic normal. git blame : un déploiement à une seule vitesse, global ; un "CPU guard" refactorisé par
2:04 accident ; un moteur d'expressions régulières sans limite supérieure. Pas l'ingénieur qui a écrit la règle : le post-mortem liste onze causes et ne nomme personne. Rayon d'impact : 27 minutes, 82 pour cent du trafic, 100 pour cent de CPU sur chaque cœur, dans chaque ville. Le tableau de bord et l'API sont derrière le même "edge", donc les clients ne peuvent même pas le désactiver. Hacker News, sous le post-mortem : ils avaient un problème, ont utilisé une expression régulière, maintenant ils en ont deux. Vieille blague. Se compile toujours.
2:28 Verdict, post-mortem : SHIP IT. Le "CPU guard" est de retour, les 3 868 règles sont relues à la main, les règles passent par la mise en scène, et le moteur passe à un moteur avec des garanties de temps linéaire, publié par Ken Thompson en 1968. Lundi : pas de "dot-star dot-star" dans tout ce qui s'exécute par requête, et garder le "kill switch" hors de la chose qu'il tue. Envoyez-moi l'incident dont vous n'êtes toujours pas autorisé à parler, dans les commentaires, ou à the daily diff point dev.
2:53 Et c'est le "diff" pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.
Sources
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



