Un'espressione regolare ha bloccato Cloudflare. 27 minuti.
2 luglio 2019, 13:42 UTC: una nuova regola per il Web Application Firewall di Cloudflare va online in oltre 180 città in circa due secondi.
2 luglio 2019, 13:42 UTC: una nuova regola per il Web Application Firewall di Cloudflare va online in oltre 180 città in circa due secondi. È una regola XSS in modalità di simulazione, quindi non blocca nulla, ma viene comunque eseguita su ogni richiesta, e termina con .*(?:.*=.*). PCRE esegue il backtracking, ogni core della CPU che serve richieste HTTP raggiunge il 100 %, e ogni sito con proxy Cloudflare restituisce 502 per 27 minuti; il traffico diminuisce dell'82 %. L'interruttore di emergenza si trova dietro Cloudflare Access, che si trova dietro Cloudflare. Postmortem, dalla relazione di Cloudflare: la protezione della CPU rimossa settimane prima in una riorganizzazione destinata a risparmiare CPU, la procedura che consentiva a qualsiasi regola di saltare la fase di staging, il motore senza garanzia di complessità, le 11 cause e le 7 soluzioni. Verdetto sulla soluzione: SHIP IT.
Leggi l'edizione scritta (inglese) ↗
Contenuto di questo video
- 13:31–13:42 UTC: PR unito, CI verde (nessun test CPU), Quicksilver distribuisce la regola in oltre 180 città; le regole WAF saltano le fasi DOG → PIG → Canary
- 13:45–14:07: prima pagina; CPU al 100% in tutto il mondo, traffico −82%, 502 ovunque; il pannello di controllo interno è dietro Cloudflare Access, che è inattivo; alcune credenziali sono scadute; un bypass raramente esercitato
- 14:07–14:09: terminazione globale WAF; traffico e CPU normali dopo 27 minuti; 14:52 WAF torna senza la regola
- 2 luglio (15:50 UTC) e 12 luglio: Cloudflare pubblica la nota dello stesso giorno e il postmortem completo; protezione CPU riaggiunta, 3.868 regole rilesse, implementazioni a fasi, passaggio a un motore di espressioni regolari a tempo lineare
Domande e risposte
Come può una singola espressione regolare bloccare una rete globale?
Un'espressione regolare con backtracking illimitato può bloccare ogni core della CPU che la valuta. Secondo il postmortem di Cloudflare, una nuova regola del firewall terminava con .*(?:.*=.*), PCRE ha eseguito il backtracking attraverso ogni altra divisione e la CPU ha raggiunto il 100% su ogni core che serviva HTTP. I siti dietro Cloudflare hanno restituito errori 502 per 27 minuti e il traffico è diminuito dell'82%.
Perché una regola del firewall in modalità di simulazione ha comunque causato un'interruzione?
La modalità di simulazione impedisce a una regola di bloccare il traffico, ma la regola viene comunque valutata su ogni richiesta. La regola unita alle 13:31 UTC del 2 luglio 2019 era una regola di cross-site scripting in modalità di simulazione, quindi non bloccava nulla, eppure veniva eseguita su ogni richiesta. Il postmortem di Cloudflare afferma che il costo della sua valutazione ha esaurito la CPU.
Come ha fatto una regola a raggiungere ogni data center Cloudflare in due secondi?
Le regole del firewall hanno saltato la distribuzione a fasi che altre release hanno seguito. Secondo il postmortem, la procedura permetteva a qualsiasi regola di diventare globale immediatamente perché le regole esistono per fermare gli attacchi in tempo reale. Questa regola non era un'emergenza, eppure Quicksilver l'ha comunque spinta a oltre 180 città in circa due secondi, senza un test della CPU nel CI per rilevarla.
Perché Cloudflare ha impiegato 27 minuti per disattivare il componente firewall difettoso?
Il pannello di controllo interno si trovava dietro Cloudflare Access, che si trovava dietro Cloudflare, quindi l'interruzione ha bloccato la strada all'interruttore di emergenza. Alcune credenziali erano scadute per inutilizzo e un bypass raramente esercitato ha richiesto circa cinque minuti. La terminazione globale del WAF è stata applicata alle 14:07 UTC e il traffico è tornato normale alle 14:09.
Le squadre dovrebbero mantenere motori di espressioni regolari con backtracking nel codice del percorso di richiesta dopo l'interruzione di Cloudflare?
Il verdetto di The Daily Diff è stato SHIP IT, per la soluzione di Cloudflare. La protezione della CPU è stata ripristinata, 3.868 regole sono state rilette, le regole passano attraverso implementazioni a fasi e il motore si sposta a uno con garanzie di tempo lineare. Il consiglio pratico dell'episodio è di evitare pattern come punto-asterisco punto-asterisco in qualsiasi cosa venga eseguita su ogni richiesta e di tenere l'interruttore di emergenza lontano dal sistema che controlla.
Trascrizione tradotta
Tradotto dalla narrazione originale inglese. L'audio e i sottotitoli disponibili sono controllati da YouTube.
0:00 Un'espressione regolare viene attivata contemporaneamente su ogni server Cloudflare, e per i successivi ventisette minuti i siti che si trovano dietro di essa mostrano una pagina 502, che, per un firewall, è l'impostazione più rigida possibile. 2 luglio 2019, 13:42 UTC. Cloudflare pubblica entro due ore: non un attacco, un deploy errato, traffico diminuito dell'82 percento. Dieci giorni dopo il CTO John Graham-Cumming pubblica il postmortem completo, espressione regolare inclusa, e Hacker News gli assegna 698 punti,
0:26 che per un'interruzione è una standing ovation. Come succede, perché è possibile e a chi viene effettivamente data la colpa. Questo è The Daily Diff, postmortem. 13:31. Una pull request si unisce: una nuova regola firewall contro lo scripting tra siti, in modalità di simulazione, quindi non blocca nulla. 13:37, i test passano; nessuno misura la CPU. 13:42, la regola viene spedita a 180 città in due secondi, perché le regole WAF saltano le fasi dog, pig e canary che altre release ottengono.
0:54 13:45, la prima pagina. 13:49, Hacker News ha un thread sulla pagina di stato, che dice ancora che tutti i sistemi sono operativi. La regola termina con punto-asterisco, punto-asterisco, uguale, punto-asterisco: qualsiasi cosa, poi qualsiasi cosa, poi un segno di uguale. PCRE indovina avidamente, fallisce e fa il backtracking attraverso ogni altra divisione. x uguale x richiede 23 passaggi. Venti x dopo l'uguale: 555.
1:15 Venti x, nessun segno di uguale: 4.067 passaggi per non trovare nulla. Esegui questo su ogni richiesta e ogni core è al cento percento, non facendo nulla, completamente. Due guardie avrebbero dovuto prenderlo. Il limite di CPU sulle regole era stato rimosso per errore settimane prima, in un refactoring destinato a far usare meno CPU al WAF. E la procedura permette a qualsiasi regola di saltare lo staging, perché le regole esistono per fermare gli attacchi in tempo reale; questa non era un'emergenza, eppure è andata comunque a livello globale.
1:37 14:00, il WAF è identificato; nessun attacco. 14:02, qualcuno propone la terminazione globale: un componente, spento, in tutto il mondo. L'interruttore è dietro Cloudflare Access. Cloudflare Access è dietro Cloudflare. Alcune credenziali erano scadute per inutilizzo, quindi la rete più veloce su internet passa cinque minuti su un bypass che nessuno aveva mai provato. 14:07, uccisione. 14:09, traffico normale. git blame: un'implementazione con una sola velocità, globale; una protezione CPU eliminata per refactoring
2:04 per errore; un motore di espressioni regolari senza limiti superiori. Non l'ingegnere che ha scritto la regola: il postmortem elenca undici cause e non nomina nessuno. Raggio d'azione: 27 minuti, 82 percento del traffico, 100 percento di CPU su ogni core, in ogni città. Il dashboard e l'API si trovano dietro lo stesso edge, quindi i clienti non possono nemmeno disattivarli. Hacker News, sotto il postmortem: avevano un problema, hanno usato un'espressione regolare, ora ne hanno due. Vecchia battuta. Si compila ancora.
2:28 Verdetto, postmortem: SHIP IT. La protezione della CPU è tornata, tutte le 3.868 regole vengono lette a mano, le regole passano attraverso lo staging e il motore si sposta a uno con garanzie di tempo lineare, pubblicato da Ken Thompson nel 1968. Lunedì: nessun punto-asterisco punto-asterisco in qualsiasi cosa che venga eseguita per richiesta, e tenere l'interruttore di emergenza lontano dalla cosa che uccide. Inviami l'incidente di cui non ti è ancora permesso parlare, nei commenti, o su the daily diff dot dev.
2:53 E questa è la differenza per oggi. Sono Niko di Axrisi. Unire responsabilmente.
Fonti
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



