+− THE DAILY DIFFdev & AI news
SHIP IT

Регуларен израз го урна Cloudflare. 27 минути.

2 јули 2019 година, 13:42 UTC: едно ново правило за Заштитниот ѕид за веб апликации на Cloudflare стапува во сила во 180+ градови за околу две секунди.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 јули 2019 година, 13:42 UTC: едно ново правило за Заштитниот ѕид за веб апликации на Cloudflare стапува во сила во 180+ градови за околу две секунди. Тоа е XSS правило во режим на симулација, така што не блокира ништо, но сепак работи на секое барање и завршува со .*(?:.*=.*). PCRE се враќа назад, секое јадро на процесорот што опслужува HTTP достигнува 100%, и секоја локација со прокси на Cloudflare враќа 502 за 27 минути; сообраќајот опаѓа за 82%. Прекинувачот за убивање се наоѓа зад Cloudflare Access, кој се наоѓа зад Cloudflare. Постмортем, од сопствената анализа на Cloudflare: заштитата на процесорот отстранета неколку недели порано во рефакторинг наменет за заштеда на процесор, постапката што дозволува секое правило да ја прескокне фазата на тестирање, моторот без гаранција за сложеност, 11-те причини и 7-те поправки. Пресуда за поправката: SHIP IT.

Прочитајте го пишаното издание (англиски) ↗

Што покрива ова видео

  • 13:31–13:42 UTC: PR споено, CI зелено (нема тест за процесор), Quicksilver го испраќа правилото до 180+ градови; правилата на WAF ги прескокнуваат фазите DOG → PIG → Canary
  • 13:45–14:07: прва страница; процесор 100% ширум светот, сообраќај -82%, 502 насекаде; внатрешниот контролен панел е зад Cloudflare Access, кој е паднат; некои ингеренции се истечени; ретко вежбан бајпас
  • 14:07–14:09: глобално прекинување на WAF; сообраќајот и процесорот нормални по 27 минути; 14:52 WAF повторно минус правилото
  • 2 јули (15:50 UTC) и 12 јули: Cloudflare ја објавува истата белешка и целиот постмортем; повторно додадена заштита на процесорот, повторно прочитани 3.868 правила, постепено воведување, премин кон regex мотор со линеарно време

Прашања и одговори

Како еден регуларен израз може да собори глобална мрежа?

Регуларен израз со неограничено враќање назад може да го оптовари секое јадро на процесорот што го евалуира. Според постмортемот на Cloudflare, ново правило за заштитен ѕид завршуваше со .*(?:.*=.*), PCRE се враќаше назад низ секое друго разделување, и процесорот достигна 100% на секое јадро што опслужуваше HTTP. Страниците зад Cloudflare враќаа 502 грешки 27 минути, а сообраќајот опадна за 82%.

blog.cloudflare.com · blog.cloudflare.com

Зошто правилото за заштитен ѕид во режим на симулација сепак предизвика прекин?

Режимот на симулација спречува правилото да блокира сообраќај, но правилото сè уште се евалуира на секое барање. Правилото споено во 13:31 UTC на 2 јули 2019 година беше правило за меѓусајтно скриптирање во режим на симулација, така што не блокираше ништо, но сепак работеше на секое барање. Постмортемот на Cloudflare вели дека цената на неговата евалуација го исцрпила процесорот.

blog.cloudflare.com

Како едно правило стигна до секој центар за податоци на Cloudflare за две секунди?

Правилата за заштитен ѕид ја прескокнаа постепената имплементација низ која поминаа другите изданија. Според постмортемот, постапката дозволи секое правило да стане глобално веднаш, бидејќи правилата постојат за да ги запрат активните напади. Ова правило не беше итен случај, а Quicksilver сепак го испрати до 180+ градови за околу две секунди, без тест за процесор во CI за да го фати.

blog.cloudflare.com · blog.cloudflare.com

Зошто на Cloudflare му беа потребни 27 минути за да ја исклучи неисправната компонента на заштитниот ѕид?

Внатрешниот контролен панел беше зад Cloudflare Access, кој беше зад Cloudflare, така што прекинот го блокираше пристапот до прекинувачот за убивање. Некои ингеренции истекоа поради неупотреба, а бајпас што ретко се вежбаше траеше околу пет минути. Глобалното исклучување на WAF беше применето во 14:07 UTC, а сообраќајот повторно беше нормален во 14:09.

blog.cloudflare.com · x.com

Треба ли тимовите да ги задржат моторите со регуларни изрази со враќање назад во кодот на патеката на барање по прекинот на Cloudflare?

Пресудата на The Daily Diff беше SHIP IT, за поправката на Cloudflare. Заштитата на процесорот беше вратена, 3.868 правила беа повторно прочитани, правилата минуваат низ постепено воведување, а моторот се префрла на таков со гаранции за линеарно време. Практичниот совет од епизодата е да се избегнуваат шаблони како ѕвезда-точка ѕвезда-точка во сè што работи на секое барање и да се држи прекинувачот за убивање подалеку од системот што го контролира.

blog.cloudflare.com

Преведен транскрипт

Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.

0:00 Еден регуларен израз почнува да работи на секој Cloudflare сервер истовремено, и во наредните дваесет и седум минути, страниците зад него се страница 502, што, за заштитен ѕид, е најстрогата можна поставка. 2 јули 2019 година, 13:42 UTC. Cloudflare објавува во рок од два часа: не е напад, туку лошо распоредување, сообраќајот е намален за 82 проценти. Десет дена подоцна, CTO Џон Греам-Каминг го објавува целиот постмортем, вклучително и регуларниот израз, а Hacker News му дава 698 поени,

0:26 што за прекин е стоечки овации. Како се случува, зошто е можно и кој всушност ја добива вината. Ова е The Daily Diff, постмортем. 13:31. Се спојува барање за повлекување: едно ново правило за заштитен ѕид против меѓусајтно скриптирање, во режим на симулација, така што не блокира ништо. 13:37, тестовите поминуваат; ниту еден не мери процесор. 13:42, правилото се испраќа до 180 градови за две секунди, бидејќи правилата на WAF ги прескокнуваат фазите dog, pig и canary што ги добиваат другите изданија.

0:54 13:45, прва страница. 13:49, Hacker News има тема на страницата за статус, која сè уште вели дека сите системи се оперативни. Правилото завршува со ѕвезда-точка, ѕвезда-точка, еднакво, ѕвезда-точка: било што, потоа било што, потоа знак за еднаквост. PCRE погодува алчно, не успева, и се враќа низ секој друг разделник. x еднакво на x трае 23 чекори. Дваесет x по еднакво: 555.

1:15 Дваесет x, без знак за еднакво: 4.067 чекори за да се најде ништо. Пуштете го тоа на секое барање и секое јадро е на сто проценти, правејќи ништо, темелно. Две чувари требало да го фатат. Лимитот на процесорот за правила беше отстранет по грешка неколку недели порано, во рефакторинг наменет да го натера WAF да користи помалку процесор. А постапката дозволува секое правило да ја прескокне фазата на тестирање, бидејќи правилата постојат за да ги запрат живите напади; овој не беше итен случај, а сепак стана глобален.

1:37 14:00, WAF е идентификуван; нема напад. 14:02, некој предлага глобално прекинување: една компонента, исклучено, ширум светот. Прекинувачот е зад Cloudflare Access. Cloudflare Access е зад Cloudflare. Некои ингеренции истекле од неупотреба, така што најбрзата мрежа на интернет троши пет минути на заобиколување кое никој не го вежбал. 14:07, убивање. 14:09, сообраќајот е нормален. git blame: распоредување со една брзина, глобално; заштита на процесорот рефакторирана по грешка од

2:04 случајност; мотор со регуларни изрази без горна граница. Не инженерот што го напиша правилото: постмортемот наведува единаесет причини и нема никого. Радиус на удар: 27 минути, 82 проценти од сообраќајот, 100 проценти процесор на секое јадро, во секој град. Таблата со инструменти и API се наоѓаат зад истиот раб, така што корисниците не можат ниту да го исклучат исклучат. Hacker News, под постмортемот: имале еден проблем, користеле регуларен израз, сега имаат два. Стара шега. Сè уште се компајлира.

2:28 Пресуда, постмортем: SHIP IT. Заштитата на процесорот е вратена, сите 3.868 правила се читаат рачно, правилата минуваат низ постепено воведување, а моторот преминува кон таков со линеарно време гаранции, објавени од Кен Томпсон во 1968 година. Понеделник: нема точка-ѕвезда точка-ѕвезда во ништо што работи по барање, и држете го прекинувачот за убивање подалеку од она што го убива. Испратете ми го инцидентот за кој сè уште не ви е дозволено да зборувате, во коментарите, или на the daily diff dot dev.

2:53 И тоа е разликата за денес. Јас сум Нико од Axrisi. Спојувајте одговорно.

Извори

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Поврзани видеа

postmortem · mk · 25 сеп. 2026 г.

Една милисекундна грешка го запре воздушниот сообраќај во Велика Британија. Шест часа.

Во 10:00 часот во вторник, 8 септември, едно рутинско барање за squawk-код во Националниот воздушен систем (NAS) на NATS е прекинато од порака со повисок приоритет додека делумно ажурира вредност. Про

3:06 ↗
postmortem · mk · 22 сеп. 2026 г.

Рестартирањето ја врати Телстра во 2006 година. Девет милиони телефони.

Инженер во Мелбурн повторно вклучува временски шасија во 2:50 часот по полноќ, и до појадок најголемата мобилна мрежа во Австралија се согласува дека е ноември 2006 година. 8 јули 2026 година: GPS кар

3:15 ↗