O expresie regex a blocat Cloudflare. 27 de minute.
2 iulie 2019, 13:42 UTC: o nouă regulă pentru Firewall-ul aplicațiilor web Cloudflare intră în funcțiune în peste 180 de orașe în aproximativ două secunde.
2 iulie 2019, 13:42 UTC: o nouă regulă pentru Firewall-ul aplicațiilor web Cloudflare intră în funcțiune în peste 180 de orașe în aproximativ două secunde. Este o regulă XSS în modul de simulare, deci nu blochează nimic, dar rulează totuși la fiecare cerere și se termină în .*(?:.*=.*). PCRE face backtracking, fiecare nucleu CPU care deservește solicitările HTTP atinge 100%, iar fiecare site cu proxy Cloudflare returnează 502 timp de 27 de minute; traficul scade cu 82%. Comutatorul de oprire se află în spatele Cloudflare Access, care se află în spatele Cloudflare. Postmortem, din propria scriere a Cloudflare: garda CPU eliminată cu săptămâni înainte într-o refactorizare menită să economisească CPU, procedura care a permis oricărei reguli să sară peste etapa de testare, motorul fără garanție de complexitate, cele 11 cauze și cele 7 soluții. Verdictul privind soluția: SHIP IT.
Citiți ediția scrisă (engleză) ↗
Ce acoperă acest videoclip
- 13:31–13:42 UTC: PR fuzionat, CI verde (fără test CPU), Quicksilver împinge regula în peste 180 de orașe; regulile WAF sar peste etapele DOG → PIG → Canary
- 13:45–14:07: prima pagină; CPU 100 % la nivel mondial, trafic −82 %, 502s peste tot; panoul de control intern este în spatele Cloudflare Access, care este inactiv; unele acreditări au expirat; o ocolire rar exersată
- 14:07–14:09: terminare WAF globală; trafic și CPU normale după 27 de minute; 14:52 WAF revine fără regulă
- 2 iul (15:50 UTC) și 12 iul: Cloudflare publică nota din aceeași zi și postmortem-ul complet; garda CPU re-adăugată, 3.868 de reguli re-citite, implementări etapizate, trecerea la un motor regex cu timp liniar
Întrebări și răspunsuri
Cum poate o singură expresie regulată să doboare o rețea globală?
O expresie regulată cu backtracking nelimitat poate bloca fiecare nucleu CPU care o evaluează. Potrivit postmortem-ului Cloudflare, o nouă regulă de firewall se termina în .*(?:.*=.*), PCRE făcea backtracking prin fiecare altă diviziune, iar CPU-ul atingea 100% pe fiecare nucleu care deservea HTTP. Site-urile din spatele Cloudflare au returnat erori 502 timp de 27 de minute și traficul a scăzut cu 82%.
De ce o regulă de firewall în modul de simulare a cauzat totuși o întrerupere?
Modul de simulare oprește o regulă să blocheze traficul, dar regula este totuși evaluată la fiecare cerere. Regula fuzionată la 13:31 UTC pe 2 iulie 2019 a fost o regulă de scripting cross-site în modul de simulare, deci nu a blocat nimic, dar a rulat la fiecare cerere. Postmortem-ul Cloudflare spune că costul evaluării acesteia a epuizat CPU-ul.
Cum a ajuns o regulă la fiecare centru de date Cloudflare în două secunde?
Regulile firewall au sărit peste implementarea etapizată prin care treceau alte versiuni. Potrivit postmortem-ului, procedura a permis oricărei reguli să devină globală imediat, deoarece regulile există pentru a opri atacurile în direct. Această regulă nu a fost o urgență, iar Quicksilver a împins-o oricum în peste 180 de orașe în aproximativ două secunde, fără un test CPU în CI pentru a o prinde.
De ce a durat 27 de minute pentru Cloudflare să oprească componenta firewall defectă?
Panoul de control intern se afla în spatele Cloudflare Access, care se afla în spatele Cloudflare, astfel încât întreruperea a blocat calea către comutatorul de oprire. Unele acreditări au expirat din cauza neutilizării, iar o ocolire care a fost rar exersată a durat aproximativ cinci minute. Terminarea globală WAF a fost aplicată la 14:07 UTC, iar traficul a revenit la normal la 14:09.
Ar trebui echipele să păstreze motoarele regex cu backtracking în codul căii de solicitare după întreruperea Cloudflare?
Verdictul The Daily Diff a fost SHIP IT, pentru soluția Cloudflare. Garda CPU a fost restaurată, 3.868 de reguli au fost recitite, regulile trec prin implementări etapizate, iar motorul se mută la unul cu garanții de timp liniar. Sfatul practic al episodului este de a evita tipare precum punct-stea punct-stea în orice rulează la fiecare cerere și de a menține comutatorul de oprire în afara sistemului pe care îl controlează.
Transcrierea tradusă
Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.
0:00 O expresie regulată intră în funcțiune pe fiecare server Cloudflare simultan, iar pentru următoarele douăzeci și șapte de minute site-urile din spatele ei afișează o pagină 502, ceea ce, pentru un firewall, este cea mai strictă setare posibilă. 2 iulie 2019, 13:42 UTC. Cloudflare postează în decurs de două ore: nu un atac, o implementare greșită, trafic în scădere cu 82 la sută. Zece zile mai târziu, CTO John Graham-Cumming publică postmortem-ul complet, inclusiv regex-ul, iar Hacker News îi acordă 698 de puncte,
0:26 ceea ce pentru o întrerupere este o ovație în picioare. Cum se întâmplă, de ce este posibil și cine este de fapt de vină. Acesta este The Daily Diff, postmortem. 13:31. O solicitare de extragere se unește: o nouă regulă de firewall împotriva scriptării între site-uri, în modul de simulare, deci nu blochează nimic. 13:37, testele trec; niciunul nu măsoară CPU. 13:42, regula este trimisă în 180 de orașe în două secunde, deoarece regulile WAF sar peste etapele dog, pig și canary pe care le obțin alte versiuni.
0:54 13:45, prima pagină. 13:49, Hacker News are un thread despre pagina de stare, care încă spune că toate sistemele funcționează. Regula se termină în punct-stea, punct-stea, egal, punct-stea: orice, apoi orice, apoi un semn egal. PCRE ghicește cu lăcomie, eșuează și face backtracking prin fiecare altă împărțire. x egal x durează 23 de pași. Douăzeci de x după egal: 555.
1:15 Douăzeci de x, fără semn egal: 4.067 de pași pentru a găsi nimic. Rulați asta la fiecare solicitare și fiecare nucleu este la sută la sută, făcând nimic, temeinic. Două gărzi ar fi trebuit să o prindă. Limita CPU pentru reguli a fost eliminată din greșeală cu săptămâni înainte, într-o refactorizare menită să facă WAF să utilizeze mai puțin CPU. Și procedura permite oricărei reguli să sară peste etapele de testare, deoarece regulile există pentru a opri atacurile în direct; aceasta nu a fost o urgență și a devenit globală oricum.
1:37 14:00, WAF este identificat; niciun atac. 14:02, cineva propune terminarea globală: o componentă, oprită, la nivel mondial. Comutatorul este în spatele Cloudflare Access. Cloudflare Access este în spatele Cloudflare. Unele acreditări au expirat din cauza neutilizării, așa că cea mai rapidă rețea de pe internet petrece cinci minute pe o ocolire pe care nimeni nu a exersat-o. 14:07, oprire. 14:09, trafic normal. git blame: o implementare cu o singură viteză, globală; o gardă CPU refactorizată accidental;
2:04 un motor regex fără limită superioară. Nu inginerul care a scris regula: postmortem-ul listează unsprezece cauze și nu numește pe nimeni. Raza de acțiune a exploziei: 27 de minute, 82 la sută din trafic, 100 la sută CPU pe fiecare nucleu, în fiecare oraș. Tabloul de bord și API-ul se află în spatele aceleiași margini, deci clienții nu pot nici măcar să-l oprească. Hacker News, sub postmortem: au avut o problemă, au folosit o expresie regulată, acum au două. Glumă veche. Încă se compilează.
2:28 Verdict, postmortem: SHIP IT. Garda CPU este înapoi, toate cele 3.868 de reguli sunt citite manual, regulile trec prin etape de testare, iar motorul se mută la unul cu garanții de timp liniar, publicat de Ken Thompson în 1968. Luni: fără punct-stea punct-stea în orice rulează pe cerere, și păstrați comutatorul de oprire departe de ceea ce omoară. Trimiteți-mi incidentul despre care încă nu aveți voie să vorbiți, în comentarii, sau la the daily diff dot dev.
2:53 Și asta e diferența pentru astăzi. Sunt Niko de la Axrisi. Îmbinați responsabil.
Surse
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



