Կանոնավոր արտահայտությունը Cloudflare-ը անջատեց 27 րոպեով:
Հուլիսի 2, 2019 թ., 13:42 UTC: Cloudflare-ի վեբ հավելվածի հրդեհապատի համար մեկ նոր կանոն գործարկվում է 180+ քաղաքներում մոտ երկու վայրկյանում: Այն XSS կանոն է սիմուլյացիոն ռեժիմում, ուստի այն ոչինչ չի արգելափակում, բայց այն, այնուամենայնիվ, գործում է յուրաքանչյուր հարցման վրա և ավարտվում է .*(?:.*=.*)-ով: PCRE-ն հետընթաց է կատարում, HTTP-ի յուրաքանչյուր CPU միջուկ հասնում է 100%-ի, և Cloudflare-ի միջնորդությամբ յուրաքանչյուր կայք 27 րոպեի ընթացքում վերադարձնում է 502.
Հուլիսի 2, 2019 թ., 13:42 UTC: Cloudflare-ի վեբ հավելվածի հրդեհապատի համար մեկ նոր կանոն գործարկվում է 180+ քաղաքներում մոտ երկու վայրկյանում: Այն XSS կանոն է սիմուլյացիոն ռեժիմում, ուստի այն ոչինչ չի արգելափակում, բայց այն, այնուամենայնիվ, գործում է յուրաքանչյուր հարցման վրա և ավարտվում է .*(?:.*=.*)-ով: PCRE-ն հետընթաց է կատարում, HTTP-ի յուրաքանչյուր CPU միջուկ հասնում է 100%-ի, և Cloudflare-ի միջնորդությամբ յուրաքանչյուր կայք 27 րոպեի ընթացքում վերադարձնում է 502. երթևեկությունը նվազում է 82%-ով: Անջատման անջատիչը գտնվում է Cloudflare Access-ի հետևում, որն էլ գտնվում է Cloudflare-ի հետևում: Հետմահու վերլուծություն, Cloudflare-ի սեփական գրությունից. CPU պաշտպանությունը հեռացվել էր շաբաթներ առաջ վերակազմավորման ժամանակ, որը նախատեսված էր CPU-ն խնայելու համար, այն ընթացակարգը, որը թույլ էր տալիս ցանկացած կանոն անցնել փորձարկման փուլը, շարժիչը՝ առանց բարդության երաշխիքի, 11 պատճառները և 7 շտկումները: Շտկման վերաբերյալ վճիռը՝ SHIP IT։
Կարդացեք գրավոր տարբերակը (անգլերեն) ↗
Ինչ է ընդգրկում այս տեսանյութը
- 13:31–13:42 UTC: PR միացված, CI կանաչ (առանց CPU թեստի), Quicksilver-ը կանոնը տարածում է 180+ քաղաքներում; WAF կանոնները բաց են թողնում DOG → PIG → Canary փուլերը
- 13:45–14:07: առաջին էջ; CPU 100% ամբողջ աշխարհում, երթևեկություն −82%, 502-ներ ամենուր; ներքին կառավարման վահանակը Cloudflare Access-ի հետևում է, որն անջատված է; որոշ հավատարմագրեր ժամկետանց են; հազվադեպ մարզված շրջանցում
- 14:07–14:09: գլոբալ WAF անջատում; երթևեկություն և CPU նորմալ 27 րոպեից հետո; 14:52 WAF նորից՝ առանց կանոնի
- Հուլիսի 2 (15:50 UTC) և հուլիսի 12: Cloudflare-ը հրապարակում է նույն օրվա գրառումը և ամբողջական հետմահու վերլուծությունը; CPU պաշտպանությունը վերականգնված է, 3,868 կանոն վերընթերցված, փուլային տեղակայումներ, անցում գծային ժամանակի կանոնավոր արտահայտության շարժիչին
Հարցեր և պատասխաններ
Ինչպե՞ս կարող է մեկ կանոնավոր արտահայտությունը անջատել գլոբալ ցանցը:
Անսահման հետընթացով կանոնավոր արտահայտությունը կարող է բեռնել յուրաքանչյուր CPU միջուկ, որը գնահատում է այն: Cloudflare-ի հետմահու վերլուծության համաձայն՝ հրդեհապատի նոր կանոնն ավարտվում էր .*(?:.*=.*)-ով, PCRE-ն հետընթաց էր կատարում յուրաքանչյուր այլ բաժանման միջով, և CPU-ն հասնում էր 100%-ի HTTP-ն սպասարկող յուրաքանչյուր միջուկի վրա: Cloudflare-ի հետևում գտնվող կայքերը 27 րոպեի ընթացքում վերադարձնում էին 502 սխալներ, իսկ երթևեկությունը նվազում էր 82%-ով:
Ինչու՞ սիմուլյացիոն ռեժիմում հրդեհապատի կանոնը դեռևս խափանում առաջացրեց:
Սիմուլյացիոն ռեժիմը կանոնին թույլ չի տալիս արգելափակել երթևեկությունը, բայց կանոնը դեռևս գնահատվում է յուրաքանչյուր հարցման վրա: 2019 թվականի հուլիսի 2-ին, 13:31 UTC-ին միաձուլված կանոնը կայքերի միջև սկրիպտինգի կանոն էր սիմուլյացիոն ռեժիմում, ուստի այն ոչինչ չէր արգելափակում, սակայն այն գործում էր յուրաքանչյուր հարցման վրա: Cloudflare-ի հետմահու վերլուծության մեջ ասվում է, որ դրա գնահատման արժեքը սպառել է CPU-ն:
Ինչպե՞ս հասավ մեկ կանոնը Cloudflare-ի յուրաքանչյուր տվյալների կենտրոն երկու վայրկյանում:
Հրդեհապատի կանոնները բաց թողեցին փուլային տեղակայումը, որը անցնում էին մյուս թողարկումները: Հետմահու վերլուծության համաձայն՝ ընթացակարգը թույլ էր տալիս ցանկացած կանոնի միանգամից գլոբալ դառնալ, քանի որ կանոնները գոյություն ունեն կենդանի հարձակումները դադարեցնելու համար: Այս կանոնը արտակարգ իրավիճակ չէր, և Quicksilver-ը, այնուամենայնիվ, այն տարածեց 180+ քաղաքներում մոտ երկու վայրկյանում, առանց CI-ում CPU թեստի, որը կբռներ այն:
Ինչու՞ Cloudflare-ին 27 րոպե պահանջվեց սխալ հրդեհապատի բաղադրիչը անջատելու համար:
Ներքին կառավարման վահանակը գտնվում էր Cloudflare Access-ի հետևում, որը գտնվում էր Cloudflare-ի հետևում, ուստի խափանումը արգելափակեց անջատման անջատիչի ճանապարհը: Որոշ հավատարմագրեր ժամկետանց էին դարձել չօգտագործելու պատճառով, և հազվադեպ մարզված շրջանցումը տևեց մոտ հինգ րոպե: Գլոբալ WAF անջատումը կիրառվեց 14:07 UTC-ին, և երթևեկությունը նորից նորմալ դարձավ 14:09-ին:
Պետք է թիմերը Cloudflare-ի խափանումից հետո կանոնավոր արտահայտության շարժիչները հետընթացով պահեն հարցումների ճանապարհի կոդում:
The Daily Diff-ի վճիռը SHIP IT էր Cloudflare-ի շտկման համար: CPU պաշտպանությունը վերականգնվեց, 3,868 կանոն վերընթերցվեց, կանոնները անցնում են փուլային տեղակայումների միջով, և շարժիչը տեղափոխվում է մեկը՝ գծային ժամանակի երաշխիքներով: Միջադեպի գործնական խորհուրդն է խուսափել կետ-աստղ կետ-աստղի նման օրինաչափություններից յուրաքանչյուր հարցման վրա գործող ցանկացած բանում և անջատման անջատիչը պահել այն համակարգից, որը այն վերահսկում է:
Թարգմանված արձանագրություն
Թարգմանվել է բնօրինակ անգլերեն պատմությունից։ Հասանելի աուդիո և ենթագրերը վերահսկվում են YouTube-ի կողմից։
0:00 Մեկ կանոնավոր արտահայտություն միանգամից գործարկվում է Cloudflare-ի յուրաքանչյուր սերվերի վրա, և հաջորդ քսանյոթ րոպեի ընթացքում դրա հետևում գտնվող կայքերը 502 էջ են, ինչը, հրդեհապատի համար, հնարավոր ամենախիստ կարգավորումն է։ 2019 թվականի հուլիսի 2-ին, 13:42 UTC։ Cloudflare-ը երկու ժամվա ընթացքում հրապարակում է. ոչ թե հարձակում, այլ վատ տեղակայում, երթևեկությունը նվազել է 82 տոկոսով։ Տասը օր անց CTO Ջոն Գրեհեմ-Քամինգը հրապարակում է ամբողջական հետմահու վերլուծությունը, ներառյալ կանոնավոր արտահայտությունը, և Hacker News-ը դրան տալիս է 698 միավոր,
0:26 ինչը խափանման համար բուռն ծափահարություններ է։ Ինչպես է դա տեղի ունենում, ինչու է հնարավոր, և ով է իրականում մեղավոր։ Սա The Daily Diff-ն է, հետմահու վերլուծություն։ 13:31։ Միաձուլվում է քաշվող հարցումը. մի նոր հրդեհապատի կանոն՝ ընդդեմ կայքերի միջև սկրիպտինգի, սիմուլյացիոն ռեժիմում, ուստի այն ոչինչ չի արգելափակում։ 13:37, թեստերը հաջող են անցնում. ոչ մեկը CPU չի չափում։ 13:42, կանոնը երկու վայրկյանում հասնում է 180 քաղաքներ, քանի որ WAF կանոնները բաց են թողնում շան, խոզի և կանարիայի փուլերը, որոնք անցնում են մյուս թողարկումները։
0:54 13:45, առաջին էջը։ 13:49, Hacker News-ը թեմա ունի կարգավիճակի էջի մասին, որը դեռ ասում է, որ բոլոր համակարգերը գործում են։ Կանոնն ավարտվում է կետ-աստղ, կետ-աստղ, հավասար է, կետ-աստղով. ամեն ինչ, հետո ամեն ինչ, հետո հավասարի նշան։ PCRE-ն ժլատորեն կռահում է, ձախողվում և հետընթաց է կատարում յուրաքանչյուր այլ բաժանման միջով։ x հավասար է x-ին տևում է 23 քայլ։ Քսան x հավասարից հետո. 555։
1:15 Քսան x, առանց հավասարի նշանի. 4,067 քայլ ոչինչ չգտնելու համար։ Դա գործարկեք յուրաքանչյուր հարցման վրա, և յուրաքանչյուր միջուկ կլինի հարյուր տոկոսով, ոչինչ չանելով, մանրակրկիտ։ Երկու պահակ պետք է բռնեին դա։ Կանոնների CPU սահմանափակումը սխալմամբ հանվել էր շաբաթներ առաջ, վերակազմավորման ժամանակ, որը նախատեսված էր WAF-ի կողմից ավելի քիչ CPU օգտագործելու համար։ Եվ ընթացակարգը թույլ է տալիս ցանկացած կանոն անցնել փորձարկման փուլը, քանի որ կանոնները գոյություն ունեն կենդանի հարձակումները դադարեցնելու համար. սա արտակարգ իրավիճակ չէր, և այն, այնուամենայնիվ, գլոբալ դարձավ։
1:37 14:00, WAF-ը նույնականացվում է. հարձակում չկա։ 14:02, ինչ-որ մեկը առաջարկում է գլոբալ անջատումը. մեկ բաղադրիչ, անջատված, ամբողջ աշխարհում։ Անջատիչը Cloudflare Access-ի հետևում է։ Cloudflare Access-ը Cloudflare-ի հետևում է։ Որոշ հավատարմագրեր ժամկետանց են դարձել չօգտագործելու պատճառով, ուստի ամենաարագ ցանցը ինտերնետում հինգ րոպե է ծախսում մի շրջանցման վրա, որը ոչ ոք չի մարզել։ 14:07, անջատել։ 14:09, երթևեկությունը նորմալ է։ git blame: մեկ արագությամբ գլոբալ տեղակայում; CPU պաշտպանությունը վերակազմավորվել է
2:04 պատահաբար; կանոնավոր արտահայտության շարժիչ՝ առանց վերին սահմանի։ Ոչ թե այն ինժեները, ով գրել է կանոնը. հետմահու վերլուծությունը թվարկում է տասնմեկ պատճառ և ոչ ոքի անունը չի նշում։ Ազդեցության շառավիղը՝ 27 րոպե, երթևեկության 82 տոկոս, 100 տոկոս CPU յուրաքանչյուր միջուկի վրա, յուրաքանչյուր քաղաքում։ Վահանակը և API-ն գտնվում են նույն եզրի հետևում, ուստի հաճախորդները նույնիսկ չեն կարող անջատել այն։ Hacker News-ը, հետմահու վերլուծության տակ. նրանք մեկ խնդիր ունեին, օգտագործել են կանոնավոր արտահայտություն, հիմա ունեն երկու։ Հին կատակ։ Դեռ կոմպիլացվում է։
2:28 Վճիռ, հետմահու վերլուծություն. SHIP IT։ CPU պաշտպանությունը վերականգնված է, բոլոր 3,868 կանոնները ձեռքով են կարդացվում, կանոնները անցնում են փուլային տեղակայումների միջով, և շարժիչը տեղափոխվում է մեկը՝ գծային ժամանակի երաշխիքներով, որը հրապարակվել է Քեն Թոմփսոնի կողմից 1968 թվականին։ Երկուշաբթի. ոչ մի կետ-աստղ կետ-աստղ ոչ մի բանում, որը գործում է յուրաքանչյուր հարցման համար, և անջատման անջատիչը պահեք այն բանից, ինչը սպանում է։ Ուղարկեք ինձ այն միջադեպը, որի մասին դեռ չեք կարող խոսել, մեկնաբանություններում, կամ the daily diff dot dev կայքում։
2:53 Եվ սա այսօրվա տարբերությունն է։ Ես Նիկոն եմ Axrisi-ից։ Միացրեք պատասխանատվությամբ։
Աղբյուրներ
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



