+− THE DAILY DIFFdev & AI news
SHIP IT

Регулярен израз свали Cloudflare. За 27 минути.

2 юли 2019 г., 13:42 UTC: едно ново правило за защитната стена на уеб приложенията на Cloudflare влиза в сила в над 180 града за около две секунди.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 юли 2019 г., 13:42 UTC: едно ново правило за защитната стена на уеб приложенията на Cloudflare влиза в сила в над 180 града за около две секунди. Това е XSS правило в симулиран режим, така че не блокира нищо, но все пак се изпълнява при всяка заявка и завършва с .*(?:.*=.*). PCRE прави "backtrack" (връщане назад), всяко ядро на процесора, обслужващо HTTP заявки, достига 100%, и всеки проксиран от Cloudflare сайт връща 502 за 27 минути; трафикът спада с 82%. Аварийният прекъсвач се намира зад Cloudflare Access, който се намира зад Cloudflare. Следсмъртен анализ, от собствения доклад на Cloudflare: защитата на процесора, премахната седмици по-рано при рефакториране, целящо да спести процесорен ресурс, процедурата, която позволява на всяко правило да пропусне "staging" (етап на предварително тестване), механизмът без гаранция за сложност, 11-те причини и 7-те корекции. Присъда за корекцията: SHIP IT.

Прочетете писменото издание (английски) ↗

Какво обхваща този видеоклип

  • 13:31–13:42 UTC: PR обединен, CI зелен (без тест за CPU), Quicksilver изпраща правилото до над 180 града; правилата на WAF пропускат етапите DOG → PIG → Canary
  • 13:45–14:07: първа страница; CPU 100% по света, трафик −82%, 502 навсякъде; вътрешният контролен панел е зад Cloudflare Access, който е неактивен; някои идентификационни данни са изтекли; рядко трениран байпас
  • 14:07–14:09: глобално прекратяване на WAF; трафикът и CPU са нормални след 27 минути; 14:52 WAF е обратно минус правилото
  • 2 юли (15:50 UTC) и 12 юли: Cloudflare публикува бележката от същия ден и пълния "postmortem"; защитата на CPU е възстановена, 3 868 правила са препрочетени, поетапни внедрявания, преминаване към механизъм за регулярни изрази с линейно време

Въпроси и отговори

Как един регулярен израз може да срине глобална мрежа?

Регулярен израз с неограничено връщане назад може да натовари всяко CPU ядро, което го оценява. Според "postmortem" на Cloudflare, ново правило за защитна стена завършва с .*(?:.*=.*), PCRE прави "backtrack" през всяко друго разделение и CPU достига 100% на всяко ядро, обслужващо HTTP. Сайтовете зад Cloudflare връщат грешки 502 за 27 минути, а трафикът спада с 82%.

blog.cloudflare.com · blog.cloudflare.com

Защо правило за защитна стена в симулиран режим все пак предизвика прекъсване?

Симулираният режим спира правилото да блокира трафик, но правилото все пак се оценява при всяка заявка. Правилото, обединено на 2 юли 2019 г. в 13:31 UTC, беше правило за междусайтов скриптинг в симулиран режим, така че не блокираше нищо, но въпреки това се изпълняваше при всяка заявка. "Postmortem" на Cloudflare казва, че цената за неговото оценяване е изтощила процесора.

blog.cloudflare.com

Как едно правило достигна до всеки център за данни на Cloudflare за две секунди?

Правилата за защитна стена пропуснаха поетапното внедряване, през което преминаваха другите версии. Според "postmortem", процедурата позволява на всяко правило да стане глобално веднага, защото правилата съществуват, за да спират живи атаки. Това правило не беше спешно и Quicksilver все пак го изпрати до над 180 града за около две секунди, без тест за CPU в CI, който да го хване.

blog.cloudflare.com · blog.cloudflare.com

Защо отне на Cloudflare 27 минути, за да изключи дефектния компонент на защитната стена?

Вътрешният контролен панел се намираше зад Cloudflare Access, който се намираше зад Cloudflare, така че прекъсването блокираше пътя към аварийния прекъсвач. Някои идентификационни данни бяха изтекли поради неизползване и байпас, който рядко се тренираше, отне около пет минути. Глобалното прекратяване на WAF беше приложено в 14:07 UTC, а трафикът беше отново нормален в 14:09.

blog.cloudflare.com · x.com

Трябва ли екипите да запазят механизми за регулярни изрази с връщане назад в кода на пътя на заявките след прекъсването на Cloudflare?

Присъдата на The Daily Diff беше SHIP IT, за корекцията на Cloudflare. Защитата на CPU беше възстановена, 3 868 правила бяха препрочетени, правилата преминават през поетапни внедрявания, а механизмът преминава към такъв с гаранции за линейно време. Практическият съвет от епизода е да се избягват модели като точка-звезда точка-звезда във всичко, което се изпълнява при всяка заявка, и да се държи аварийният прекъсвач извън системата, която контролира.

blog.cloudflare.com

Преведен препис

Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.

0:00 Един регулярен израз влиза в сила на всеки сървър на Cloudflare едновременно, и през следващите двадесет и седем минути сайтовете зад него показват страница 502, което за защитна стена е най-строгата възможна настройка. 2 юли 2019 г., 13:42 UTC. Cloudflare публикува в рамките на два часа: не е атака, а грешно внедряване, трафикът е намалял с 82 процента. Десет дни по-късно CTO Джон Греъм-Къминг публикува пълния "postmortem", включително регулярния израз, и Hacker News му дава 698 точки,

0:26 което за прекъсване е бурни аплодисменти. Как се случва, защо е възможно и кой всъщност е виновен. Това е The Daily Diff, "postmortem". 13:31. Заявка за изтегляне е обединена: едно ново правило за защитна стена срещу междусайтов скриптинг, в симулиран режим, така че не блокира нищо. 13:37, тестовете минават; никой не измерва CPU. 13:42, правилото е изпратено до 180 града за две секунди, защото правилата на WAF пропускат етапите "куче", "прасе" и "канарче", които другите версии преминават.

0:54 13:45, първата страница. 13:49, Hacker News има тема за страницата със статус, която все още казва, че всички системи работят. Правилото завършва с точка-звезда, точка-звезда, равно, точка-звезда: каквото и да е, след това каквото и да е, след това знак за равно. PCRE прави алчни предположения, проваля се и се връща назад през всяко друго разделение. x равно на x отнема 23 стъпки. Двадесет x-а след равното: 555.

1:15 Двадесет x-а, без знак за равно: 4 067 стъпки, за да не намери нищо. Изпълнете това при всяка заявка и всяко ядро е на сто процента, без да прави нищо, старателно. Две защити трябваше да го хванат. Лимитът на CPU за правилата е премахнат по погрешка седмици по-рано, при рефакториране, целящо да накара WAF да използва по-малко CPU. И процедурата позволява на всяко правило да пропусне "staging", защото правилата съществуват, за да спират живи атаки; това не беше извънредна ситуация и въпреки това стана глобално.

1:37 14:00, WAF е идентифициран; няма атака. 14:02, някой предлага глобалното прекратяване: един компонент, изключен, по целия свят. Превключвателят е зад Cloudflare Access. Cloudflare Access е зад Cloudflare. Някои идентификационни данни са изтекли поради неизползване, така че най-бързата мрежа в интернет прекарва пет минути в байпас, който никой не е тренирал. 14:07, изключване. 14:09, трафикът е нормален. git blame: внедряване с една скорост, глобално; защита на процесора, премахната чрез рефакториране по

2:04 случайност; механизъм за регулярни изрази без горна граница. Не инженерът, който е написал правилото: "postmortem" изброява единадесет причини и не назовава никого. Радиус на удар: 27 минути, 82 процента от трафика, 100 процента CPU на всяко ядро, във всеки град. Таблото и API са зад същия край, така че клиентите дори не могат да го изключат. Hacker News, под "postmortem": те имаха един проблем, използваха регулярен израз, сега имат два. Стара шега. Все още компилира.

2:28 Присъда, "postmortem": SHIP IT. Защитата на CPU е възстановена, всички 3 868 правила се преглеждат ръчно, правилата преминават през "staging", а механизмът преминава към такъв с гаранции за линейно време, публикувани от Кен Томпсън през 1968 г. Понеделник: без точка-звезда точка-звезда в нищо, което се изпълнява при всяка заявка, и дръжте аварийния прекъсвач извън системата, която убива. Изпратете ми инцидента, за който все още не ви е позволено да говорите, в коментарите или на the daily diff dot dev.

2:53 И това е разликата за днес. Аз съм Нико от Axrisi. Обединявайте отговорно.

Източници

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Свързани видеоклипове

postmortem · bg · 25.09.2026 г.

Една милисекунда бъг спря въздушния трафик в Обединеното кралство. За шест часа.

В 10:00 ч. във вторник, 8 септември, едно рутинно искане за squawk-код в Националната система за въздушно пространство (NAS) на NATS е прекъснато от съобщение с по-висок приоритет, докато е в процес н

3:06 ↗