+− THE DAILY DIFFdev & AI news
SHIP IT

Regex iliangusha Cloudflare. Dakika 27.

Julai 2, 2019, 13:42 UTC: sheria moja mpya ya Firewall ya Maombi ya Wavuti ya Cloudflare inawekwa hewani katika miji zaidi ya 180 kwa takriban sekunde mbili.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Julai 2, 2019, 13:42 UTC: sheria moja mpya ya Firewall ya Maombi ya Wavuti ya Cloudflare inawekwa hewani katika miji zaidi ya 180 kwa takriban sekunde mbili. Ni sheria ya XSS katika hali ya kuiga, kwa hivyo haizuii chochote, lakini bado inaendeshwa kwa kila ombi, na inaishia kwa .*(?:.*=.*). PCRE inarudi nyuma, kila msingi wa CPU unaohudumia HTTP unagonga 100 %, na kila tovuti iliyounganishwa kupitia Cloudflare inarudisha 502 kwa dakika 27; trafiki inapungua 82 %. Swichi ya kuzima iko nyuma ya Cloudflare Access, ambayo iko nyuma ya Cloudflare. Tathmini ya baada ya tukio, kutoka kwa maelezo ya Cloudflare yenyewe: ulinzi wa CPU uliondolewa wiki kadhaa mapema katika urekebishaji uliokusudiwa kuokoa CPU, utaratibu ulioruhusu sheria yoyote kuruka hatua za majaribio, injini isiyo na uhakika wa utata, sababu 11 na marekebisho 7. Hukumu juu ya kurekebisha: SHIP IT.

Soma toleo lililoandikwa (Kiingereza) ↗

Nini video hii inashughulikia

  • 13:31–13:42 UTC: PR iliunganishwa, CI ya kijani (hakuna jaribio la CPU), Quicksilver inasukuma sheria kwa miji 180+; sheria za WAF zinaruka hatua za DOG → PIG → Canary
  • 13:45–14:07: ukurasa wa kwanza; CPU 100 % duniani kote, trafiki −82 %, 502s kila mahali; paneli ya kudhibiti ya ndani iko nyuma ya Cloudflare Access, ambayo imezimwa; baadhi ya sifa za ufikiaji zimeisha muda wake; njia ya kupita ambayo haijafanyiwa mazoezi mara chache
  • 14:07–14:09: WAF ya kimataifa yazima; trafiki na CPU kawaida baada ya dakika 27; 14:52 WAF yarudi bila sheria
  • Jul 2 (15:50 UTC) na Jul 12: Cloudflare inachapisha noti ya siku hiyo hiyo na tathmini kamili ya baada ya tukio; ulinzi wa CPU umeongezwa tena, sheria 3,868 zimesomwa tena, usambazaji wa hatua kwa hatua, kuhamia kwenye injini ya regex ya muda wa mstari

Maswali na majibu

Je, usemi mmoja wa kawaida unawezaje kuzima mtandao wa kimataifa?

Regex yenye kutafuta nyuma bila kikomo inaweza kutumia kila msingi wa CPU unaouhesabu. Kulingana na ripoti ya Cloudflare, sheria mpya ya ngome iliishia kwa .*(?:.*=.*), PCRE ilitafuta nyuma kupitia kila mgawanyiko mwingine, na CPU ilifikia 100% kwenye kila msingi unaohudumia HTTP. Tovuti zilizo nyuma ya Cloudflare zilirejesha hitilafu za 502 kwa dakika 27 na trafiki ilishuka kwa 82%.

blog.cloudflare.com · blog.cloudflare.com

Kwa nini sheria ya ngome katika hali ya kuiga bado ilisababisha kukatika kwa huduma?

Hali ya kuiga huzuia sheria kuzuia trafiki, lakini sheria bado inatathminiwa kwa kila ombi. Sheria iliyounganishwa saa 13:31 UTC mnamo Julai 2, 2019 ilikuwa sheria ya udukuzi wa tovuti katika hali ya kuiga, kwa hivyo haikuzuia chochote, lakini iliendeshwa kwa kila ombi. Ripoti ya Cloudflare inasema gharama ya kuitathmini ilimaliza CPU.

blog.cloudflare.com

Je, sheria moja iliwezaje kufikia kila kituo cha data cha Cloudflare ndani ya sekunde mbili?

Sheria za ngome ziliruka usambazaji wa hatua kwa hatua ambao matoleo mengine yalipitia. Kulingana na ripoti hiyo, utaratibu uliruhusu sheria yoyote kusambazwa ulimwenguni mara moja kwa sababu sheria zipo kuzuia mashambulizi ya moja kwa moja. Sheria hii haikuwa dharura, na Quicksilver bado iliisukuma kwa miji zaidi ya 180 kwa takriban sekunde mbili, bila mtihani wa CPU katika CI ili kuigundua.

blog.cloudflare.com · blog.cloudflare.com

Kwa nini ilichukua Cloudflare dakika 27 kuzima sehemu mbovu ya ngome?

Jopo la udhibiti wa ndani lilikuwa nyuma ya Cloudflare Access, ambayo ilikuwa nyuma ya Cloudflare, kwa hivyo kukatika kwa huduma kulizuia njia ya swichi ya kuzima. Baadhi ya vitambulisho vilikuwa vimekwisha muda wake kwa sababu ya kutotumika, na njia ya kupita ambayo haikutumiwa sana ilichukua takriban dakika tano. WAF ya kimataifa ya kukatisha ilitumika saa 14:07 UTC, na trafiki ilikuwa ya kawaida tena saa 14:09.

blog.cloudflare.com · x.com

Je, timu zinapaswa kuweka injini za regex zenye kutafuta nyuma katika msimbo wa njia ya ombi baada ya kukatika kwa huduma ya Cloudflare?

Uamuzi wa The Daily Diff ulikuwa SHIP IT, kwa marekebisho ya Cloudflare. Mlinzi wa CPU alirejeshwa, sheria 3,868 zilisomwa upya, sheria zinapitia usambazaji wa hatua kwa hatua, na injini inahamia kwenye ile yenye dhamana za muda wa mstari. Ushauri wa kivitendo wa tukio hilo ni kuepuka ruwaza kama dot-star dot-star katika chochote kinachoendeshwa kwa kila ombi na kuweka swichi ya kuzima mbali na mfumo inaoudhibiti.

blog.cloudflare.com

Nakala iliyotafsiriwa

Imetafsiriwa kutoka simulizi asili ya Kiingereza. Sauti na manukuu yanayopatikana yanadhibitiwa na YouTube.

0:00 Ufafanuzi mmoja wa kawaida huwekwa hewani kwenye kila seva ya Cloudflare mara moja, na kwa dakika ishirini na saba zijazo tovuti zilizo nyuma yake ni ukurasa wa 502, ambayo, kwa firewall, ni mpangilio mkali zaidi iwezekanavyo. Julai 2, 2019, 13:42 UTC. Cloudflare inachapisha ndani ya masaa mawili: sio shambulio, usambazaji mbaya, trafiki imepungua asilimia 82. Siku kumi baadaye CTO John Graham-Cumming anachapisha tathmini kamili ya baada ya tukio, regex imejumuishwa, na Hacker News inampa pointi 698,

0:26 ambayo kwa kukatika ni pongezi kuu. Jinsi inavyotokea, kwa nini inawezekana, na nani hasa anapata lawama. Hii ni The Daily Diff, tathmini ya baada ya tukio. 13:31. Ombi la kuunganisha linaunganishwa: sheria mpya moja ya firewall dhidi ya uandishi wa tovuti tofauti, katika hali ya kuiga, kwa hivyo haizuii chochote. 13:37, majaribio yamepita; hakuna inayopima CPU. 13:42, sheria inatumwa kwa miji 180 kwa sekunde mbili, kwa sababu sheria za WAF zinaruka hatua za mbwa, nguruwe na canary ambazo matoleo mengine hupata.

0:54 13:45, ukurasa wa kwanza. 13:49, Hacker News ina uzi kwenye ukurasa wa hali, ambayo bado inasema mifumo yote inafanya kazi. Sheria inaishia kwa nukta-nyota, nukta-nyota, sawa, nukta-nyota: chochote, kisha chochote, kisha ishara ya sawa. PCRE inadhani kwa pupa, inashindwa, na inarudi nyuma kupitia kila mgawanyiko mwingine. x sawa na x inachukua hatua 23. X ishirini baada ya sawa: 555.

1:15 X ishirini, hakuna ishara ya sawa: hatua 4,067 kupata chochote. Endesha hiyo kwa kila ombi na kila msingi uko asilimia mia moja, hakifanyi chochote, kikamilifu. Walindaji wawili walipaswa kuikamata. Kikomo cha CPU kwenye sheria kiliondolewa kimakosa wiki kadhaa mapema, katika urekebishaji uliokusudiwa kufanya WAF itumie CPU kidogo. Na utaratibu huruhusu sheria yoyote kuruka hatua za majaribio, kwa sababu sheria zipo kuzuia mashambulizi ya moja kwa moja; hii haikuwa dharura, na ilienda kimataifa hata hivyo.

1:37 14:00, WAF imetambuliwa; hakuna shambulio. 14:02, mtu anapendekeza kukatisha kimataifa: sehemu moja, kuzimwa, duniani kote. Swichi iko nyuma ya Cloudflare Access. Cloudflare Access iko nyuma ya Cloudflare. Baadhi ya sifa za ufikiaji zimeisha muda wake kutokana na kutotumika, kwa hivyo mtandao wa haraka zaidi kwenye intaneti unatumia dakika tano kwenye njia ya kupita ambayo hakuna aliyefanya mazoezi. 14:07, zima. 14:09, trafiki kawaida. git blame: usambazaji na kasi moja, kimataifa; ulinzi wa CPU uliobadilishwa kimakosa;

2:04 injini ya regex isiyo na kikomo cha juu. Sio mhandisi aliyeandika sheria: tathmini ya baada ya tukio inaorodhesha sababu kumi na moja na haitaji mtu yeyote. Eneo la athari: dakika 27, asilimia 82 ya trafiki, asilimia 100 CPU kwenye kila msingi, katika kila jiji. Dashibodi na API ziko nyuma ya kingo moja, kwa hivyo wateja hawawezi hata kuzima hiyo. Hacker News, chini ya tathmini ya baada ya tukio: walikuwa na tatizo moja, walitumia ufafanuzi wa kawaida, sasa wana mawili. Utani wa zamani. Bado unafanya kazi.

2:28 Uamuzi, tathmini ya baada ya tukio: SHIP IT. Ulinzi wa CPU umerejea, sheria zote 3,868 zinasomwa kwa mkono, sheria hupitia hatua za majaribio, na injini inahamia kwenye moja yenye dhamana ya muda wa mstari, iliyochapishwa na Ken Thompson mnamo 1968. Jumatatu: hakuna nukta-nyota nukta-nyota katika chochote kinachoendeshwa kwa kila ombi, na weka swichi ya kuzima mbali na kitu inachozima. Nitumie tukio ambalo bado hauruhusiwi kulizungumzia, katika maoni, au kwa the daily diff dot dev.

2:53 Na huo ndio tofauti kwa leo. Mimi ni Niko kutoka Axrisi. Unganisha kwa uwajibikaji.

Vyanzo

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Video zinazohusiana