+− THE DAILY DIFFdev & AI news
SHIP IT

Կանոնավոր արտահայտությունը Cloudflare-ը անջատեց 27 րոպեով:

Հուլիսի 2, 2019 թ., 13:42 UTC: Cloudflare-ի վեբ հավելվածի հրդեհապատի համար մեկ նոր կանոն գործարկվում է 180+ քաղաքներում մոտ երկու վայրկյանում: Այն XSS կանոն է սիմուլյացիոն ռեժիմում, ուստի այն ոչինչ չի արգելափակում, բայց այն, այնուամենայնիվ, գործում է յուրաքանչյուր հարցման վրա և ավարտվում է .*(?:.*=.*)-ով: PCRE-ն հետընթաց է կատարում, HTTP-ի յուրաքանչյուր CPU միջուկ հասնում է 100%-ի, և Cloudflare-ի միջնորդությամբ յուրաքանչյուր կայք 27 րոպեի ընթացքում վերադարձնում է 502.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Հուլիսի 2, 2019 թ., 13:42 UTC: Cloudflare-ի վեբ հավելվածի հրդեհապատի համար մեկ նոր կանոն գործարկվում է 180+ քաղաքներում մոտ երկու վայրկյանում: Այն XSS կանոն է սիմուլյացիոն ռեժիմում, ուստի այն ոչինչ չի արգելափակում, բայց այն, այնուամենայնիվ, գործում է յուրաքանչյուր հարցման վրա և ավարտվում է .*(?:.*=.*)-ով: PCRE-ն հետընթաց է կատարում, HTTP-ի յուրաքանչյուր CPU միջուկ հասնում է 100%-ի, և Cloudflare-ի միջնորդությամբ յուրաքանչյուր կայք 27 րոպեի ընթացքում վերադարձնում է 502. երթևեկությունը նվազում է 82%-ով: Անջատման անջատիչը գտնվում է Cloudflare Access-ի հետևում, որն էլ գտնվում է Cloudflare-ի հետևում: Հետմահու վերլուծություն, Cloudflare-ի սեփական գրությունից. CPU պաշտպանությունը հեռացվել էր շաբաթներ առաջ վերակազմավորման ժամանակ, որը նախատեսված էր CPU-ն խնայելու համար, այն ընթացակարգը, որը թույլ էր տալիս ցանկացած կանոն անցնել փորձարկման փուլը, շարժիչը՝ առանց բարդության երաշխիքի, 11 պատճառները և 7 շտկումները: Շտկման վերաբերյալ վճիռը՝ SHIP IT։

Կարդացեք գրավոր տարբերակը (անգլերեն) ↗

Ինչ է ընդգրկում այս տեսանյութը

  • 13:31–13:42 UTC: PR միացված, CI կանաչ (առանց CPU թեստի), Quicksilver-ը կանոնը տարածում է 180+ քաղաքներում; WAF կանոնները բաց են թողնում DOG → PIG → Canary փուլերը
  • 13:45–14:07: առաջին էջ; CPU 100% ամբողջ աշխարհում, երթևեկություն −82%, 502-ներ ամենուր; ներքին կառավարման վահանակը Cloudflare Access-ի հետևում է, որն անջատված է; որոշ հավատարմագրեր ժամկետանց են; հազվադեպ մարզված շրջանցում
  • 14:07–14:09: գլոբալ WAF անջատում; երթևեկություն և CPU նորմալ 27 րոպեից հետո; 14:52 WAF նորից՝ առանց կանոնի
  • Հուլիսի 2 (15:50 UTC) և հուլիսի 12: Cloudflare-ը հրապարակում է նույն օրվա գրառումը և ամբողջական հետմահու վերլուծությունը; CPU պաշտպանությունը վերականգնված է, 3,868 կանոն վերընթերցված, փուլային տեղակայումներ, անցում գծային ժամանակի կանոնավոր արտահայտության շարժիչին

Հարցեր և պատասխաններ

Ինչպե՞ս կարող է մեկ կանոնավոր արտահայտությունը անջատել գլոբալ ցանցը:

Անսահման հետընթացով կանոնավոր արտահայտությունը կարող է բեռնել յուրաքանչյուր CPU միջուկ, որը գնահատում է այն: Cloudflare-ի հետմահու վերլուծության համաձայն՝ հրդեհապատի նոր կանոնն ավարտվում էր .*(?:.*=.*)-ով, PCRE-ն հետընթաց էր կատարում յուրաքանչյուր այլ բաժանման միջով, և CPU-ն հասնում էր 100%-ի HTTP-ն սպասարկող յուրաքանչյուր միջուկի վրա: Cloudflare-ի հետևում գտնվող կայքերը 27 րոպեի ընթացքում վերադարձնում էին 502 սխալներ, իսկ երթևեկությունը նվազում էր 82%-ով:

blog.cloudflare.com · blog.cloudflare.com

Ինչու՞ սիմուլյացիոն ռեժիմում հրդեհապատի կանոնը դեռևս խափանում առաջացրեց:

Սիմուլյացիոն ռեժիմը կանոնին թույլ չի տալիս արգելափակել երթևեկությունը, բայց կանոնը դեռևս գնահատվում է յուրաքանչյուր հարցման վրա: 2019 թվականի հուլիսի 2-ին, 13:31 UTC-ին միաձուլված կանոնը կայքերի միջև սկրիպտինգի կանոն էր սիմուլյացիոն ռեժիմում, ուստի այն ոչինչ չէր արգելափակում, սակայն այն գործում էր յուրաքանչյուր հարցման վրա: Cloudflare-ի հետմահու վերլուծության մեջ ասվում է, որ դրա գնահատման արժեքը սպառել է CPU-ն:

blog.cloudflare.com

Ինչպե՞ս հասավ մեկ կանոնը Cloudflare-ի յուրաքանչյուր տվյալների կենտրոն երկու վայրկյանում:

Հրդեհապատի կանոնները բաց թողեցին փուլային տեղակայումը, որը անցնում էին մյուս թողարկումները: Հետմահու վերլուծության համաձայն՝ ընթացակարգը թույլ էր տալիս ցանկացած կանոնի միանգամից գլոբալ դառնալ, քանի որ կանոնները գոյություն ունեն կենդանի հարձակումները դադարեցնելու համար: Այս կանոնը արտակարգ իրավիճակ չէր, և Quicksilver-ը, այնուամենայնիվ, այն տարածեց 180+ քաղաքներում մոտ երկու վայրկյանում, առանց CI-ում CPU թեստի, որը կբռներ այն:

blog.cloudflare.com · blog.cloudflare.com

Ինչու՞ Cloudflare-ին 27 րոպե պահանջվեց սխալ հրդեհապատի բաղադրիչը անջատելու համար:

Ներքին կառավարման վահանակը գտնվում էր Cloudflare Access-ի հետևում, որը գտնվում էր Cloudflare-ի հետևում, ուստի խափանումը արգելափակեց անջատման անջատիչի ճանապարհը: Որոշ հավատարմագրեր ժամկետանց էին դարձել չօգտագործելու պատճառով, և հազվադեպ մարզված շրջանցումը տևեց մոտ հինգ րոպե: Գլոբալ WAF անջատումը կիրառվեց 14:07 UTC-ին, և երթևեկությունը նորից նորմալ դարձավ 14:09-ին:

blog.cloudflare.com · x.com

Պետք է թիմերը Cloudflare-ի խափանումից հետո կանոնավոր արտահայտության շարժիչները հետընթացով պահեն հարցումների ճանապարհի կոդում:

The Daily Diff-ի վճիռը SHIP IT էր Cloudflare-ի շտկման համար: CPU պաշտպանությունը վերականգնվեց, 3,868 կանոն վերընթերցվեց, կանոնները անցնում են փուլային տեղակայումների միջով, և շարժիչը տեղափոխվում է մեկը՝ գծային ժամանակի երաշխիքներով: Միջադեպի գործնական խորհուրդն է խուսափել կետ-աստղ կետ-աստղի նման օրինաչափություններից յուրաքանչյուր հարցման վրա գործող ցանկացած բանում և անջատման անջատիչը պահել այն համակարգից, որը այն վերահսկում է:

blog.cloudflare.com

Թարգմանված արձանագրություն

Թարգմանվել է բնօրինակ անգլերեն պատմությունից։ Հասանելի աուդիո և ենթագրերը վերահսկվում են YouTube-ի կողմից։

0:00 Մեկ կանոնավոր արտահայտություն միանգամից գործարկվում է Cloudflare-ի յուրաքանչյուր սերվերի վրա, և հաջորդ քսանյոթ րոպեի ընթացքում դրա հետևում գտնվող կայքերը 502 էջ են, ինչը, հրդեհապատի համար, հնարավոր ամենախիստ կարգավորումն է։ 2019 թվականի հուլիսի 2-ին, 13:42 UTC։ Cloudflare-ը երկու ժամվա ընթացքում հրապարակում է. ոչ թե հարձակում, այլ վատ տեղակայում, երթևեկությունը նվազել է 82 տոկոսով։ Տասը օր անց CTO Ջոն Գրեհեմ-Քամինգը հրապարակում է ամբողջական հետմահու վերլուծությունը, ներառյալ կանոնավոր արտահայտությունը, և Hacker News-ը դրան տալիս է 698 միավոր,

0:26 ինչը խափանման համար բուռն ծափահարություններ է։ Ինչպես է դա տեղի ունենում, ինչու է հնարավոր, և ով է իրականում մեղավոր։ Սա The Daily Diff-ն է, հետմահու վերլուծություն։ 13:31։ Միաձուլվում է քաշվող հարցումը. մի նոր հրդեհապատի կանոն՝ ընդդեմ կայքերի միջև սկրիպտինգի, սիմուլյացիոն ռեժիմում, ուստի այն ոչինչ չի արգելափակում։ 13:37, թեստերը հաջող են անցնում. ոչ մեկը CPU չի չափում։ 13:42, կանոնը երկու վայրկյանում հասնում է 180 քաղաքներ, քանի որ WAF կանոնները բաց են թողնում շան, խոզի և կանարիայի փուլերը, որոնք անցնում են մյուս թողարկումները։

0:54 13:45, առաջին էջը։ 13:49, Hacker News-ը թեմա ունի կարգավիճակի էջի մասին, որը դեռ ասում է, որ բոլոր համակարգերը գործում են։ Կանոնն ավարտվում է կետ-աստղ, կետ-աստղ, հավասար է, կետ-աստղով. ամեն ինչ, հետո ամեն ինչ, հետո հավասարի նշան։ PCRE-ն ժլատորեն կռահում է, ձախողվում և հետընթաց է կատարում յուրաքանչյուր այլ բաժանման միջով։ x հավասար է x-ին տևում է 23 քայլ։ Քսան x հավասարից հետո. 555։

1:15 Քսան x, առանց հավասարի նշանի. 4,067 քայլ ոչինչ չգտնելու համար։ Դա գործարկեք յուրաքանչյուր հարցման վրա, և յուրաքանչյուր միջուկ կլինի հարյուր տոկոսով, ոչինչ չանելով, մանրակրկիտ։ Երկու պահակ պետք է բռնեին դա։ Կանոնների CPU սահմանափակումը սխալմամբ հանվել էր շաբաթներ առաջ, վերակազմավորման ժամանակ, որը նախատեսված էր WAF-ի կողմից ավելի քիչ CPU օգտագործելու համար։ Եվ ընթացակարգը թույլ է տալիս ցանկացած կանոն անցնել փորձարկման փուլը, քանի որ կանոնները գոյություն ունեն կենդանի հարձակումները դադարեցնելու համար. սա արտակարգ իրավիճակ չէր, և այն, այնուամենայնիվ, գլոբալ դարձավ։

1:37 14:00, WAF-ը նույնականացվում է. հարձակում չկա։ 14:02, ինչ-որ մեկը առաջարկում է գլոբալ անջատումը. մեկ բաղադրիչ, անջատված, ամբողջ աշխարհում։ Անջատիչը Cloudflare Access-ի հետևում է։ Cloudflare Access-ը Cloudflare-ի հետևում է։ Որոշ հավատարմագրեր ժամկետանց են դարձել չօգտագործելու պատճառով, ուստի ամենաարագ ցանցը ինտերնետում հինգ րոպե է ծախսում մի շրջանցման վրա, որը ոչ ոք չի մարզել։ 14:07, անջատել։ 14:09, երթևեկությունը նորմալ է։ git blame: մեկ արագությամբ գլոբալ տեղակայում; CPU պաշտպանությունը վերակազմավորվել է

2:04 պատահաբար; կանոնավոր արտահայտության շարժիչ՝ առանց վերին սահմանի։ Ոչ թե այն ինժեները, ով գրել է կանոնը. հետմահու վերլուծությունը թվարկում է տասնմեկ պատճառ և ոչ ոքի անունը չի նշում։ Ազդեցության շառավիղը՝ 27 րոպե, երթևեկության 82 տոկոս, 100 տոկոս CPU յուրաքանչյուր միջուկի վրա, յուրաքանչյուր քաղաքում։ Վահանակը և API-ն գտնվում են նույն եզրի հետևում, ուստի հաճախորդները նույնիսկ չեն կարող անջատել այն։ Hacker News-ը, հետմահու վերլուծության տակ. նրանք մեկ խնդիր ունեին, օգտագործել են կանոնավոր արտահայտություն, հիմա ունեն երկու։ Հին կատակ։ Դեռ կոմպիլացվում է։

2:28 Վճիռ, հետմահու վերլուծություն. SHIP IT։ CPU պաշտպանությունը վերականգնված է, բոլոր 3,868 կանոնները ձեռքով են կարդացվում, կանոնները անցնում են փուլային տեղակայումների միջով, և շարժիչը տեղափոխվում է մեկը՝ գծային ժամանակի երաշխիքներով, որը հրապարակվել է Քեն Թոմփսոնի կողմից 1968 թվականին։ Երկուշաբթի. ոչ մի կետ-աստղ կետ-աստղ ոչ մի բանում, որը գործում է յուրաքանչյուր հարցման համար, և անջատման անջատիչը պահեք այն բանից, ինչը սպանում է։ Ուղարկեք ինձ այն միջադեպը, որի մասին դեռ չեք կարող խոսել, մեկնաբանություններում, կամ the daily diff dot dev կայքում։

2:53 Եվ սա այսօրվա տարբերությունն է։ Ես Նիկոն եմ Axrisi-ից։ Միացրեք պատասխանատվությամբ։

Աղբյուրներ

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Հարակից տեսանյութեր

postmortem · hy · 25 սեպ, 2026 թ.

Մեկ միլիվայրկյանի սխալը կանգնեցրել է Մեծ Բրիտանիայի ավիափոխադրումները։ Վեց ժամով։

Սեպտեմբերի 8-ի երեքշաբթի, ժամը 10:00-ին, NATS-ի Ազգային Օդային Տարածքի Համակարգի (NAS) ներսում սքվոք կոդի մեկ սովորական հարցումն ընդհատվում է ավելի բարձր առաջնահերթության հաղորդագրությամբ, մինչ այն մա

3:06 ↗
postmortem · hy · 22 սեպ, 2026 թ.

Վերագործարկումը Telstra-ին ուղարկեց 2006 թվական: Ինը միլիոն հեռախոս:

Մելբուրնի ինժեներն առավոտյան ժամը 2:50-ին միացնում է ժամանակաչափման շասսին, և մինչև նախաճաշ Ավստրալիայի ամենամեծ բջջային ցանցը համաձայնում է, որ դա 2006 թվականի նոյեմբերն է։ 2026 թվականի հուլիսի 8. Te

3:15 ↗