+− THE DAILY DIFFdev & AI news
SHIP IT

Regulārā izteiksme apturēja Cloudflare. 27 minūtes.

2019.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2019. gada 2. jūlijs, 13:42 UTC: viens jauns Cloudflare tīmekļa lietojumprogrammu ugunsmūra noteikums tiek ieviests vairāk nekā 180 pilsētās aptuveni divās sekundēs. Tas ir XSS noteikums simulācijas režīmā, tāpēc tas neko nebloķē, bet tas joprojām darbojas katrā pieprasījumā, un tas beidzas ar .*(?:.*=.*). PCRE atgriežas atpakaļ, katrs CPU kodols, kas apkalpo HTTP pieprasījumus, sasniedz 100 %, un katra Cloudflare starpniekservera vietne atgriež 502 kļūdu 27 minūtes; datplūsma samazinās par 82 %. Avārijas slēdzis atrodas aiz Cloudflare Access, kas atrodas aiz Cloudflare. Pēcnāves analīze, no Cloudflare pašu apraksta: CPU aizsargs, kas tika noņemts dažas nedēļas agrāk refaktorizācijas laikā, lai ietaupītu CPU, procedūra, kas ļāva jebkuram noteikumam izlaist posmu, dzinējs bez sarežģītības garantijas, 11 cēloņi un 7 labojumi. Spriedums par labojumu: SHIP IT.

Lasiet rakstisko izdevumu (angļu valodā) ↗

Ko aptver šis video

  • 13:31–13:42 UTC: PR apvienots, CI zaļš (nav CPU testa), Quicksilver izstumj noteikumu uz vairāk nekā 180 pilsētām; WAF noteikumi izlaiž DOG → PIG → Canary posmus
  • 13:45–14:07: pirmā lapa; CPU 100 % visā pasaulē, datplūsma −82 %, 502 kļūdas visur; iekšējais vadības panelis atrodas aiz Cloudflare Access, kas ir nestrādājošs; daži akreditācijas dati ir beigušies; reti izmantots apejas ceļš
  • 14:07–14:09: globālā WAF pārtraukšana; datplūsma un CPU normāls pēc 27 minūtēm; 14:52 WAF atkal darbojas bez noteikuma
  • 2. jūlijs (15:50 UTC) un 12. jūlijs: Cloudflare publicē tās pašas dienas piezīmi un pilnu pēcnāves analīzi; CPU aizsargs atjaunots, 3 868 noteikumi pārlasīti, pakāpeniska ieviešana, pāreja uz lineāra laika regulāro izteiksmju dzinēju

Jautājumi un atbildes

Kā viena regulārā izteiksme var apturēt globālu tīklu?

Regulārā izteiksme ar neierobežotu atgriešanos var pilnībā noslogot katru CPU kodolu, kas to novērtē. Saskaņā ar Cloudflare pēcnāves analīzi, jauns ugunsmūra noteikums beidzās ar .*(?:.*=.*), PCRE atgriezās atpakaļ caur katru citu sadalījumu, un CPU sasniedza 100 % uz katra HTTP apkalpojošā kodola. Vietnes aiz Cloudflare atgrieza 502 kļūdas 27 minūtes, un datplūsma samazinājās par 82 %.

blog.cloudflare.com · blog.cloudflare.com

Kāpēc ugunsmūra noteikums simulācijas režīmā joprojām izraisīja pārtraukumu?

Simulācijas režīms aptur noteikumu no datplūsmas bloķēšanas, taču noteikums joprojām tiek novērtēts katrā pieprasījumā. Noteikums, kas tika apvienots 2019. gada 2. jūlijā plkst. 13:31 UTC, bija starpvietņu skriptēšanas noteikums simulācijas režīmā, tāpēc tas neko nebloķēja, taču tas darbojās katrā pieprasījumā. Cloudflare pēcnāves analīze norāda, ka tā novērtēšanas izmaksas izsmēla CPU.

blog.cloudflare.com

Kā viens noteikums divās sekundēs sasniedza visus Cloudflare datu centrus?

Ugunsmūra noteikumi izlaida pakāpenisko izvietošanu, ko izgāja citi izlaidumi. Saskaņā ar pēcnāves analīzi, procedūra ļāva jebkuram noteikumam vienlaikus kļūt globālam, jo noteikumi pastāv, lai apturētu reālus uzbrukumus. Šis noteikums nebija ārkārtas gadījums, un Quicksilver tomēr to izplatīja uz vairāk nekā 180 pilsētām aptuveni divās sekundēs, bez CPU testa CI, lai to noķertu.

blog.cloudflare.com · blog.cloudflare.com

Kāpēc Cloudflare bija nepieciešamas 27 minūtes, lai izslēgtu bojāto ugunsmūra komponenti?

Iekšējais vadības panelis atradās aiz Cloudflare Access, kas atradās aiz Cloudflare, tāpēc pārtraukums bloķēja piekļuvi avārijas slēdzim. Daži akreditācijas dati bija beigušies nelietošanas dēļ, un reti izmantots apejas ceļš aizņēma aptuveni piecas minūtes. Globālā WAF izbeigšana tika piemērota 14:07 UTC, un datplūsma atkal bija normāla 14:09.

blog.cloudflare.com · x.com

Vai komandām vajadzētu saglabāt regulāro izteiksmju dzinējus ar atgriešanos atpakaļ pieprasījuma ceļa kodā pēc Cloudflare pārtraukuma?

The Daily Diff spriedums bija SHIP IT, par Cloudflare labojumu. CPU aizsargs tika atjaunots, 3868 noteikumi tika pārlasīti, noteikumi iziet cauri pakāpeniskai izvietošanai, un dzinējs pāriet uz tādu, kam ir lineāra laika garantijas. Epizodes praktiskais padoms ir izvairīties no tādiem modeļiem kā punktu-zvaigznīte punktu-zvaigznīte jebkurā, kas darbojas katrā pieprasījumā, un turēt avārijas slēdzi atstātu ārpus sistēmas, ko tas kontrolē.

blog.cloudflare.com

Tulkotais transkripts

Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.

0:00 Viena regulārā izteiksme vienlaicīgi sāk darboties uz katra Cloudflare servera, un nākamās divdesmit septiņas minūtes aiz tā esošās vietnes ir 502 lapa, kas ugunsmūrim ir visstingrākais iespējamais iestatījums. 2019. gada 2. jūlijs, 13:42 UTC. Cloudflare publicē divu stundu laikā: nav uzbrukums, slikta izvietošana, datplūsma samazināta par 82 procentiem. Pēc desmit dienām CTO John Graham-Cumming publicē pilnu pēcnāves analīzi, iekļaujot regulāro izteiksmi, un Hacker News piešķir tai 698 punktus,

0:26 kas avārijai ir stāvovācijas vērts. Kā tas notiek, kāpēc tas ir iespējams un kurš patiesībā ir vainīgs. Šis ir The Daily Diff, pēcnāves analīze. 13:31. Pull request tiek apvienots: jauns ugunsmūra noteikums pret starpvietņu skriptēšanu, simulācijas režīmā, tāpēc tas neko nebloķē. 13:37, testi izturēti; neviens nemēra CPU. 13:42, noteikums tiek nosūtīts uz 180 pilsētām divās sekundēs, jo WAF noteikumi izlaiž suņa, cūkas un kanārijputniņa posmus, ko saņem citi izdevumi.

0:54 13:45, pirmā lapa. 13:49, Hacker News ir pavediens par statusa lapu, kas joprojām vēsta, ka visas sistēmas darbojas. Noteikums beidzas ar punktu-zvaigznīti, punktu-zvaigznīti, vienādības zīmi, punktu-zvaigznīti: jebkas, tad jebkas, tad vienādības zīme. PCRE uzmin alkatīgi, neizdodas un atgriežas atpakaļ caur katru citu sadalījumu. x ir vienāds ar x prasa 23 soļus. Divdesmit x pēc vienādības zīmes: 555.

1:15 Divdesmit x, nav vienādības zīmes: 4067 soļi, lai neko neatrastu. Palaidiet to uz katra pieprasījuma, un katrs kodols ir simts procentu noslogots, rūpīgi neko nedarot. Diviem sargiem vajadzēja to noķert. CPU ierobežojums noteikumiem tika noņemts kļūdas dēļ dažas nedēļas agrāk, refaktorizācijā, kuras mērķis bija panākt, lai WAF izmantotu mazāk CPU. Un procedūra ļauj jebkuram noteikumam izlaist posmu, jo noteikumi pastāv, lai apturētu reālus uzbrukumus; šis nebija ārkārtas gadījums, un tas tomēr tika izplatīts visā pasaulē.

1:37 14:00, WAF tiek identificēts; nav uzbrukuma. 14:02, kāds ierosina globālu izbeigšanu: viena komponenta, izslēgšana visā pasaulē. Slēdzis atrodas aiz Cloudflare Access. Cloudflare Access atrodas aiz Cloudflare. Daži akreditācijas dati bija beigušies nelietošanas dēļ, tāpēc ātrākais tīkls internetā piecas minūtes pavadīja apejas ceļā, ko neviens nebija trenējies. 14:07, nogalināt. 14:09, datplūsma normāla. git blame: izvietošana ar vienu ātrumu, globāla; CPU aizsargs nejauši refaktorizēts;

2:04 regulārās izteiksmes dzinējs bez augšējās robežas. Ne inženieris, kurš rakstīja noteikumu: pēcnāves analīzē ir uzskaitīti vienpadsmit cēloņi un neviens nav nosaukts. Sprādziena rādiuss: 27 minūtes, 82 procenti datplūsmas, 100 procenti CPU uz katra kodola, katrā pilsētā. Informācijas panelis un API atrodas aiz tās pašas malas, tāpēc klienti pat nevar to izslēgt. Hacker News, zem pēcnāves analīzes: viņiem bija viena problēma, izmantojis regulāru izteiksmi, tagad viņiem ir divas. Vecs joks. Joprojām kompilējas.

2:28 Spriedums, pēcnāves analīze: SHIP IT. CPU aizsargs ir atjaunots, visi 3868 noteikumi tiek pārlasīti ar roku, noteikumi iziet cauri pakāpeniskai ieviešanai, un dzinējs pāriet uz tādu, kam ir lineāra laika garantijas, ko publicējis Kens Tompsons 1968. gadā. Pirmdiena: bez punktu-zvaigznītes punktu-zvaigznītes jebkurā, kas darbojas pēc pieprasījuma, un turiet avārijas slēdzi atstātu ārpus tās sistēmas, ko tas nogalina. Sūtiet man incidentu, par kuru jums joprojām nav atļauts runāt, komentāros vai vietnē the daily diff dot dev.

2:53 Un tas ir šodienas atšķirība. Esmu Niko no Axrisi. Apvienot atbildīgi.

Avoti

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Saistītie video