+− THE DAILY DIFFdev & AI news
SHIP IT

Регулярлық өрнек Cloudflare-ді істен шығарды. 27 минут.

2019 жылғы 2 шілде, 13:42 UTC: Cloudflare-дің веб-қолданбалы қабырғасы үшін бір жаңа ереже шамамен екі секунд ішінде 180-ден астам қалада іске қосылады.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2019 жылғы 2 шілде, 13:42 UTC: Cloudflare-дің веб-қолданбалы қабырғасы үшін бір жаңа ереже шамамен екі секунд ішінде 180-ден астам қалада іске қосылады. Бұл имитация режиміндегі XSS ережесі, сондықтан ол ештеңені бұғаттамайды, бірақ ол әр сұраныс бойынша жұмыс істейді және .*(?:.*=.*) арқылы аяқталады. PCRE кері қайтарады, HTTP сұраныстарын өңдейтін әрбір CPU ядросы 100% жүктеледі, және Cloudflare проксиленген әрбір сайт 27 минут бойы 502 қайтарады; трафик 82% төмендейді. Өшіру қосқышы Cloudflare Access артында орналасқан, ол Cloudflare артында орналасқан. Cloudflare-дің өз есебінен кейінгі талдау: бірнеше апта бұрын CPU үнемдеуге арналған қайта құрылымдауда жойылған CPU қорғанысы, кез келген ережені сахналық кезеңді өткізіп жіберуге мүмкіндік беретін процедура, күрделілік кепілдігі жоқ қозғалтқыш, 11 себеп және 7 түзету. Түзету туралы шешім: ЖІБЕРУ.

Жазбаша басылымды оқыңыз (ағылшынша) ↗

Бұл бейне не туралы

  • 13:31–13:42 UTC: PR біріктірілді, CI жасыл (CPU тесті жоқ), Quicksilver ережені 180-ден астам қалаға жібереді; WAF ережелері DOG → PIG → Canary кезеңдерін өткізіп жібереді
  • 13:45–14:07: бірінші бет; CPU бүкіл әлем бойынша 100%, трафик −82%, барлық жерде 502 қатесі; ішкі басқару панелі Cloudflare Access артында, ол істен шыққан; кейбір тіркелгі деректерінің мерзімі өткен; сирек қолданылатын айналма жол
  • 14:07–14:09: жаһандық WAF тоқтату; 27 минуттан кейін трафик пен CPU қалыпты жағдайға оралды; 14:52 WAF ережесіз қайта оралды
  • 2 шілде (15:50 UTC) және 12 шілде: Cloudflare сол күнгі ескертуді және толық талдауды жариялайды; CPU қорғанысы қайта қосылды, 3,868 ереже қайта оқылды, сахналық шығарылымдар, сызықтық уақыттық регулярлық өрнек қозғалтқышына көшу

Сұрақтар мен жауаптар

Бір регулярлық өрнек жаһандық желіні қалай істен шығаруы мүмкін?

Шектелмеген кері қайтаруы бар регулярлық өрнек оны бағалайтын әрбір CPU ядросын блоктауы мүмкін. Cloudflare-дің талдауына сәйкес, жаңа қабырға ережесі .*(?:.*=.*) арқылы аяқталды, PCRE әрбір басқа бөлу арқылы кері қайтарды, және HTTP қызметін көрсететін әрбір ядрода CPU 100% жүктелді. Cloudflare артындағы сайттар 27 минут бойы 502 қатесін қайтарды және трафик 82% төмендеді.

blog.cloudflare.com · blog.cloudflare.com

Имитация режиміндегі қабырға ережесі неге істен шығуға себеп болды?

Имитация режимі ереженің трафикті бұғаттауын тоқтатады, бірақ ереже әлі де әр сұраныс бойынша бағаланады. 2019 жылдың 2 шілдесінде 13:31 UTC біріктірілген ереже имитация режиміндегі сайттар аралық скриптинг ережесі болды, сондықтан ол ештеңені бұғаттамады, бірақ ол әр сұраныс бойынша жұмыс істеді. Cloudflare-дің талдауы бойынша, оны бағалау құны CPU-ді тауысты.

blog.cloudflare.com

Бір ереже Cloudflare-дің барлық деректер орталықтарына екі секундта қалай жетті?

Қабырға ережелері басқа шығарылымдар өткен сахналық шығарылымды өткізіп жіберді. Талдауға сәйкес, процедура кез келген ережені бірден жаһандық деңгейге шығаруға мүмкіндік берді, себебі ережелер тірі шабуылдарды тоқтату үшін бар. Бұл ереже төтенше жағдай емес еді, және Quicksilver оны CI-да CPU тесті жоқ 180-ден астам қалаға шамамен екі секунд ішінде жіберді.

blog.cloudflare.com · blog.cloudflare.com

Cloudflare-ге ақаулы қабырға компонентін өшіру үшін неге 27 минут қажет болды?

Ішкі басқару панелі Cloudflare Access артында орналасқан, ол Cloudflare артында орналасқан, сондықтан істен шығу өшіру қосқышына жолды жауып тастады. Кейбір тіркелгі деректері қолданылмағандықтан мерзімі өтіп кеткен, және сирек қолданылатын айналма жол шамамен бес минутқа созылды. Жаһандық WAF тоқтату 14:07 UTC-те қолданылды, және трафик 14:09-да қайтадан қалыпты болды.

blog.cloudflare.com · x.com

Cloudflare істен шыққаннан кейін командалар сұраныс жолының кодында кері қайтаруы бар регулярлық өрнек қозғалтқыштарын ұстауы керек пе?

The Daily Diff-тің шешімі Cloudflare-дің түзетуі үшін ЖІБЕРУ болды. CPU қорғанысы қалпына келтірілді, 3,868 ереже қайта оқылды, ережелер сахналық шығарылымдардан өтеді, және қозғалтқыш сызықтық уақыттық кепілдіктері бар қозғалтқышқа көшеді. Оқиғаның практикалық кеңесі – әр сұраныс бойынша жұмыс істейтін ештеңеде нүкте-жұлдыз нүкте-жұлдыз сияқты үлгілерден аулақ болу және өшіру қосқышын ол басқаратын жүйеден алыс ұстау.

blog.cloudflare.com

Аударылған транскрипция

Бастапқы ағылшын тіліндегі баяндамадан аударылған. Қолжетімді аудио және субтитрлерді YouTube басқарады.

0:00 Бір регулярлық өрнек Cloudflare-дің әрбір серверінде бірден іске қосылады, және келесі жиырма жеті минут ішінде оның артындағы сайттар 502 қате беті болады, бұл, қабырға үшін, мүмкін болатын ең қатаң параметр. 2019 жылдың 2 шілдесі, 13:42 UTC. Cloudflare екі сағат ішінде жариялайды: шабуыл емес, қате орнату, трафик 82 пайызға төмендеді. Он күннен кейін CTO Джон Грэм-Камминг толық талдауды жариялайды, регулярлық өрнек қоса алғанда, және Hacker News оған 698 ұпай береді,

0:26 бұл істен шығу үшін қол соғумен тең. Бұл қалай болады, неге мүмкін және кім кінәлі. Бұл The Daily Diff, талдау. 13:31. А pull request біріктіріледі: сайттар аралық скриптингке қарсы бір жаңа қабырға ережесі, имитация режимінде, сондықтан ол ештеңені бұғаттамайды. 13:37, тесттер өтеді; ешқайсысы CPU-ді өлшемейді. 13:42, ереже екі секунд ішінде 180 қалаға жіберіледі, себебі WAF ережелері басқа шығарылымдар өтетін ит, шошқа және канар кезеңдерін өткізіп жібереді.

0:54 13:45, бірінші бет. 13:49, Hacker News-те статус беті туралы тақырып бар, онда әлі де барлық жүйелер жұмыс істеп тұр деп жазылған. Ереже нүкте-жұлдыз, нүкте-жұлдыз, тең, нүкте-жұлдызбен аяқталады: кез келген нәрсе, содан кейін кез келген нәрсе, содан кейін теңдік белгісі. PCRE ашкөздікпен болжайды, қате жібереді және әрбір басқа бөлу арқылы кері қайтарады. x тең x 23 қадамды алады. Теңдіктен кейін жиырма x: 555.

1:15 Жиырма x, теңдік белгісі жоқ: ештеңе таппау үшін 4,067 қадам. Оны әрбір сұраныс бойынша іске қосыңыз және әрбір ядро жүз пайызға жүктеледі, ешнәрсе істемей, мұқият. Екі қорғау оны ұстауы керек еді. Ережелердегі CPU шектеуі бірнеше апта бұрын қателікпен жойылды, WAF-тың CPU-ді азырақ пайдалануына арналған қайта құрылымдауда. Және процедура кез келген ережені сахналық кезеңді өткізіп жіберуге мүмкіндік береді, себебі ережелер тірі шабуылдарды тоқтату үшін бар; бұл төтенше жағдай емес еді, және ол бәрібір жаһандық деңгейге шықты.

1:37 14:00, WAF анықталды; шабуыл жоқ. 14:02, біреу жаһандық тоқтатуды ұсынады: бір компонент, өшіру, бүкіл әлем бойынша. Қосқыш Cloudflare Access артында. Cloudflare Access Cloudflare артында. Кейбір тіркелгі деректері қолданылмағандықтан мерзімі өтіп кеткен, сондықтан интернеттегі ең жылдам желі ешкім қолданбаған айналма жолға бес минут жұмсайды. 14:07, өшіру. 14:09, трафик қалыпты. git blame: бір жылдамдықпен шығару, жаһандық; кездейсоқ қайта құрылымдалған CPU қорғанысы;

2:04 жоғарғы шегі жоқ регулярлық өрнек қозғалтқышы. Ережені жазған инженер емес: талдауда он бір себеп тізімделген және ешкім аталмаған. Зақымдану аймағы: 27 минут, трафиктің 82 пайызы, әрбір ядрода 100 пайыз CPU, әрбір қалада. Басқару панелі мен API бірдей шеткі жүйенің артында орналасқан, сондықтан клиенттер тіпті оны өшіре алмайды. Hacker News, талдау астында: оларда бір мәселе болды, регулярлық өрнекті қолданды, енді оларда екі мәселе бар. Ескі әзіл. Әлі де жұмыс істейді.

2:28 Шешім, талдаудан кейін: жіберу. CPU қорғанысы қайта қосылды, барлық 3,868 ереже қолмен қайта оқылады, ережелер сахналық шығарылымдардан өтеді, және қозғалтқыш сызықтық уақыттық кепілдігі бар, Кен Томпсон 1968 жылы жариялаған қозғалтқышқа көшеді. Дүйсенбі: әрбір сұраныс бойынша жұмыс істейтін ештеңеде нүкте-жұлдыз нүкте-жұлдыз жоқ, және өшіру қосқышын ол өшіретін нәрседен алыс ұстаңыз. Маған әлі де айтуға рұқсат етілмейтін оқиғаны жіберіңіз, пікірлерде, немесе daily diff dot dev мекенжайына.

2:53 Бүгінгі айырмашылық осы. Мен Axrisi-ден Никомын. Жауапкершілікпен біріктіріңіз.

Дереккөздер

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Ұқсас бейнелер

postmortem · kk · 2026 ж. 25 қыр.

Бір миллисекундтық қате Ұлыбритания әуе қозғалысын тоқтатты. Алты сағат.

8 қыркүйек сейсенбі күні сағат 10:00-де NATS-тың Ұлттық әуе кеңістігі жүйесіндегі (NAS) әдеттегі squawk-кодын сұрауы мәнді жаңарту кезінде басымдығы жоғары хабарламамен үзіледі. Әсер ету терезесі шама

3:06 ↗
postmortem · kk · 2026 ж. 22 қыр.

Қайта жүктеу Telstra-ны 2006 жылға жіберді. Тоғыз миллион телефон.

Мельбурндегі инженер таңғы сағат 2:50-де тайминг шассиін қайта қосады, содан кейін таңғы асқа дейін Австралияның ең ірі мобильді желісі 2006 жылдың қарашасы деп келіседі. 2026 жылдың 8 шілдесі: Telstr

3:15 ↗