Μια regex "κατέβασε" το Cloudflare. 27 λεπτά.
2 Ιουλίου 2019, 13:42 UTC: ένας νέος κανόνας για το Web Application Firewall της Cloudflare τέθηκε σε λειτουργία σε 180+ πόλεις σε περίπου δύο δευτερόλεπτα.
2 Ιουλίου 2019, 13:42 UTC: ένας νέος κανόνας για το Web Application Firewall της Cloudflare τέθηκε σε λειτουργία σε 180+ πόλεις σε περίπου δύο δευτερόλεπτα. Είναι ένας κανόνας XSS σε λειτουργία προσομοίωσης, οπότε δεν μπλοκάρει τίποτα, αλλά εξακολουθεί να τρέχει σε κάθε αίτημα και καταλήγει σε .*(?:.*=.*). Η PCRE κάνει "backtrack", κάθε πυρήνας CPU που εξυπηρετεί HTTP φτάνει το 100 %, και κάθε ιστότοπος που χρησιμοποιεί το Cloudflare επιστρέφει 502 για 27 λεπτά. Η κίνηση πέφτει 82 %. Ο διακόπτης απενεργοποίησης βρίσκεται πίσω από το Cloudflare Access, το οποίο βρίσκεται πίσω από το Cloudflare. Αναφορά μετά το συμβάν, από την ίδια την Cloudflare: η "ασπίδα" CPU που αφαιρέθηκε εβδομάδες νωρίτερα σε μια αναδιαμόρφωση που αποσκοπούσε στην εξοικονόμηση CPU, η διαδικασία που επέτρεπε σε οποιονδήποτε κανόνα να παρακάμψει τη σταδιοποίηση, η "μηχανή" χωρίς εγγύηση πολυπλοκότητας, οι 11 αιτίες και οι 7 διορθώσεις. Ετυμηγορία για τη διόρθωση: SHIP IT.
Διαβάστε την γραπτή έκδοση (Αγγλικά) ↗
Τι καλύπτει αυτό το βίντεο
- 13:31–13:42 UTC: συγχώνευση PR, CI πράσινο (χωρίς δοκιμή CPU), το Quicksilver προωθεί τον κανόνα σε 180+ πόλεις. Οι κανόνες WAF παρακάμπτουν τις φάσεις DOG → PIG → Canary
- 13:45–14:07: πρώτη σελίδα. CPU 100 % παγκοσμίως, κίνηση -82 %, 502s παντού. Ο εσωτερικός πίνακας ελέγχου είναι πίσω από το Cloudflare Access, το οποίο είναι εκτός λειτουργίας. Ορισμένα διαπιστευτήρια έχουν λήξει. Μια σπάνια εκτελούμενη παράκαμψη.
- 14:07–14:09: παγκόσμια τερματισμός WAF. Κανονική κίνηση και CPU μετά από 27 λεπτά. 14:52 WAF πίσω χωρίς τον κανόνα.
- 2 Ιουλίου (15:50 UTC) και 12 Ιουλίου: Το Cloudflare δημοσιεύει τη σημείωση της ίδιας ημέρας και την πλήρη αναφορά μετά το συμβάν. Η "ασπίδα" CPU επανεντάχθηκε, 3.868 κανόνες επανελέγχθηκαν, σταδιακές κυκλοφορίες, μετάβαση σε μια μηχανή regex γραμμικού χρόνου.
Ερωτήσεις και απαντήσεις
Πώς μπορεί μια ενιαία κανονική έκφραση να "κατεβάσει" ένα παγκόσμιο δίκτυο;
Μια regex με απεριόριστο "backtracking" μπορεί να "κολλήσει" κάθε πυρήνα CPU που την αξιολογεί. Σύμφωνα με την αναφορά μετά το συμβάν της Cloudflare, ένας νέος κανόνας firewall κατέληξε σε .*(?:.*=.*), η PCRE έκανε "backtrack" σε κάθε άλλη διάσπαση, και η CPU έφτασε το 100 % σε κάθε πυρήνα που εξυπηρετούσε HTTP. Οι ιστότοποι πίσω από το Cloudflare επέστρεψαν σφάλματα 502 για 27 λεπτά και η κίνηση μειώθηκε κατά 82 %.
Γιατί ένας κανόνας firewall σε λειτουργία προσομοίωσης προκάλεσε παρόλα αυτά μια διακοπή;
Η λειτουργία προσομοίωσης εμποδίζει έναν κανόνα να μπλοκάρει την κίνηση, αλλά ο κανόνας εξακολουθεί να αξιολογείται σε κάθε αίτημα. Ο κανόνας που συγχωνεύτηκε στις 13:31 UTC στις 2 Ιουλίου 2019 ήταν ένας κανόνας cross-site scripting σε λειτουργία προσομοίωσης, οπότε δεν μπλοκάρισε τίποτα, αλλά παρόλα αυτά εκτελέστηκε σε κάθε αίτημα. Η αναφορά μετά το συμβάν της Cloudflare αναφέρει ότι το κόστος της αξιολόγησής του εξάντλησε την CPU.
Πώς ένας κανόνας έφτασε σε κάθε κέντρο δεδομένων της Cloudflare σε δύο δευτερόλεπτα;
Οι κανόνες firewall παρέκαμψαν τη σταδιακή κυκλοφορία που ακολουθούσαν άλλες εκδόσεις. Σύμφωνα με την αναφορά μετά το συμβάν, η διαδικασία επέτρεπε σε οποιονδήποτε κανόνα να γίνει παγκόσμιος ταυτόχρονα, επειδή οι κανόνες υπάρχουν για να σταματούν ζωντανές επιθέσεις. Αυτός ο κανόνας δεν ήταν έκτακτη ανάγκη, και παρόλα αυτά το Quicksilver τον προώθησε σε 180+ πόλεις σε περίπου δύο δευτερόλεπτα, χωρίς δοκιμή CPU στο CI για να τον "πιάσει".
Γιατί χρειάστηκαν 27 λεπτά στην Cloudflare για να απενεργοποιήσει το ελαττωματικό στοιχείο του firewall;
Ο εσωτερικός πίνακας ελέγχου βρισκόταν πίσω από το Cloudflare Access, το οποίο βρισκόταν πίσω από το Cloudflare, οπότε η διακοπή απέκλεισε την πρόσβαση στον διακόπτη απενεργοποίησης. Ορισμένα διαπιστευτήρια είχαν λήξει από την αχρηστία, και μια παράκαμψη που σπάνια εκτελούνταν χρειάστηκε περίπου πέντε λεπτά. Ο παγκόσμιος τερματισμός WAF εφαρμόστηκε στις 14:07 UTC, και η κίνηση ήταν πάλι φυσιολογική στις 14:09.
Πρέπει οι ομάδες να διατηρούν μηχανές regex με "backtracking" σε κώδικα διαδρομής αιτήματος μετά τη διακοπή της Cloudflare;
Η ετυμηγορία του The Daily Diff ήταν SHIP IT, για τη διόρθωση της Cloudflare. Η "ασπίδα" CPU αποκαταστάθηκε, 3.868 κανόνες επανελέγχθηκαν, οι κανόνες περνούν από σταδιακές κυκλοφορίες, και η μηχανή μεταβαίνει σε μία με εγγυήσεις γραμμικού χρόνου. Η πρακτική συμβουλή του επεισοδίου είναι να αποφεύγονται μοτίβα όπως dot-star dot-star σε οτιδήποτε εκτελείται σε κάθε αίτημα και να κρατιέται ο διακόπτης απενεργοποίησης μακριά από το σύστημα που ελέγχει.
Μεταφρασμένη μεταγραφή
Μεταφράστηκε από την πρωτότυπη αγγλική αφήγηση. Ο διαθέσιμος ήχος και οι υπότιτλοι ελέγχονται από το YouTube.
0:00 Μια κανονική έκφραση τίθεται σε λειτουργία σε κάθε διακομιστή Cloudflare ταυτόχρονα, και για τα επόμενα είκοσι επτά λεπτά οι ιστότοποι πίσω της είναι μια σελίδα 502, που, για ένα firewall, είναι η αυστηρότερη δυνατή ρύθμιση. 2 Ιουλίου 2019, 13:42 UTC. Το Cloudflare δημοσιεύει εντός δύο ωρών: όχι επίθεση, κακή ανάπτυξη, η κίνηση μειώνεται κατά 82 τοις εκατό. Δέκα μέρες αργότερα ο CTO John Graham-Cumming δημοσιεύει την πλήρη αναφορά μετά το συμβάν, περιλαμβάνοντας το regex, και το Hacker News του δίνει 698 πόντους,
0:26 που για μια διακοπή είναι ένα standing ovation. Πώς συμβαίνει, γιατί είναι δυνατό, και ποιος φταίει στην πραγματικότητα. Αυτό είναι το The Daily Diff, μετά το συμβάν. 13:31. Ένα pull request συγχωνεύεται: ένας νέος κανόνας firewall κατά του cross-site scripting, σε λειτουργία προσομοίωσης, οπότε δεν μπλοκάρει τίποτα. 13:37, οι δοκιμές περνούν. Κανένα δεν μετρά CPU. 13:42, ο κανόνας αποστέλλεται σε 180 πόλεις σε δύο δευτερόλεπτα, επειδή οι κανόνες WAF παρακάμπτουν τις φάσεις "σκύλου, γουρουνιού και καναρινιού" που έχουν άλλες εκδόσεις.
0:54 13:45, η πρώτη σελίδα. 13:49, το Hacker News έχει ένα νήμα στην κατάσταση της σελίδας, το οποίο εξακολουθεί να λέει ότι όλα τα συστήματα είναι λειτουργικά. Ο κανόνας καταλήγει σε dot-star, dot-star, equals, dot-star: οτιδήποτε, μετά οτιδήποτε, μετά ένα σύμβολο ίσον. Η PCRE "μαντεύει" άπληστα, αποτυγχάνει και κάνει "backtrack" σε κάθε άλλη διάσπαση. Το "x ίσον x" χρειάζεται 23 βήματα. Είκοσι x μετά το ίσον: 555.
1:15 Είκοσι x, χωρίς σύμβολο ίσον: 4.067 βήματα για να βρει τίποτα. Εκτελέστε το σε κάθε αίτημα και κάθε πυρήνας είναι στο εκατό τοις εκατό, μην κάνει τίποτα, σχολαστικά. Δύο φρουροί θα έπρεπε να το είχαν "πιάσει". Το όριο CPU στους κανόνες αφαιρέθηκε κατά λάθος εβδομάδες νωρίτερα, σε μια αναδιαμόρφωση που αποσκοπούσε στην εξοικονόμηση CPU από το WAF. Και η διαδικασία επιτρέπει σε οποιονδήποτε κανόνα να παρακάμψει τη σταδιοποίηση, επειδή οι κανόνες υπάρχουν για να σταματούν ζωντανές επιθέσεις. Αυτή δεν ήταν έκτακτη ανάγκη, και παρόλα αυτά έγινε παγκόσμια.
1:37 14:00, το WAF αναγνωρίζεται. Δεν υπάρχει επίθεση. 14:02, κάποιος προτείνει τον παγκόσμιο τερματισμό: ένα στοιχείο, εκτός, παγκοσμίως. Ο διακόπτης βρίσκεται πίσω από το Cloudflare Access. Το Cloudflare Access βρίσκεται πίσω από το Cloudflare. Ορισμένα διαπιστευτήρια είχαν λήξει από την αχρηστία, οπότε το ταχύτερο δίκτυο στο διαδίκτυο χρειάστηκε πέντε λεπτά για μια παράκαμψη που κανείς δεν είχε εκπαιδευτεί. 14:07, τερματισμός. 14:09, κανονική κίνηση. git blame: μια κυκλοφορία με μία ταχύτητα, παγκόσμια. Μια "ασπίδα" CPU αναδιαμορφώθηκε και απομακρύνθηκε κατά
2:04 λάθος. Μια μηχανή regex χωρίς άνω όριο. Όχι ο μηχανικός που έγραψε τον κανόνα: η αναφορά μετά το συμβάν αναφέρει έντεκα αιτίες και δεν ονομάζει κανέναν. Ακτίνα "έκρηξης": 27 λεπτά, 82 τοις εκατό της κίνησης, 100 τοις εκατό CPU σε κάθε πυρήνα, σε κάθε πόλη. Ο πίνακας εργαλείων και το API βρίσκονται πίσω από το ίδιο άκρο, οπότε οι πελάτες δεν μπορούν καν να το απενεργοποιήσουν. Hacker News, κάτω από την αναφορά μετά το συμβάν: είχαν ένα πρόβλημα, χρησιμοποίησαν μια κανονική έκφραση, τώρα έχουν δύο. Παλιό αστείο. Εξακολουθεί να μεταγλωττίζεται.
2:28 Ετυμηγορία, μετά το συμβάν: ship it. Η "ασπίδα" CPU επανήλθε, όλοι οι 3.868 κανόνες διαβάζονται χειροκίνητα, οι κανόνες περνούν από σταδιοποίηση, και η μηχανή μεταβαίνει σε μία με εγγυήσεις γραμμικού χρόνου, που δημοσιεύτηκε από τον Ken Thompson το 1968. Δευτέρα: όχι dot-star dot-star σε οτιδήποτε εκτελείται ανά αίτημα, και κρατήστε τον διακόπτη απενεργοποίησης μακριά από το πράγμα που σκοτώνει. Στείλτε μου το περιστατικό για το οποίο δεν επιτρέπεται ακόμα να μιλήσετε, στα σχόλια, ή στο daily diff dot dev.
2:53 Και αυτή είναι η διαφορά για σήμερα. Είμαι ο Νίκος από την Axrisi. Συγχωνεύστε υπεύθυνα.
Πηγές
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



