Регуларен израз го урна Cloudflare. 27 минути.
2 јули 2019 година, 13:42 UTC: едно ново правило за Заштитниот ѕид за веб апликации на Cloudflare стапува во сила во 180+ градови за околу две секунди.
2 јули 2019 година, 13:42 UTC: едно ново правило за Заштитниот ѕид за веб апликации на Cloudflare стапува во сила во 180+ градови за околу две секунди. Тоа е XSS правило во режим на симулација, така што не блокира ништо, но сепак работи на секое барање и завршува со .*(?:.*=.*). PCRE се враќа назад, секое јадро на процесорот што опслужува HTTP достигнува 100%, и секоја локација со прокси на Cloudflare враќа 502 за 27 минути; сообраќајот опаѓа за 82%. Прекинувачот за убивање се наоѓа зад Cloudflare Access, кој се наоѓа зад Cloudflare. Постмортем, од сопствената анализа на Cloudflare: заштитата на процесорот отстранета неколку недели порано во рефакторинг наменет за заштеда на процесор, постапката што дозволува секое правило да ја прескокне фазата на тестирање, моторот без гаранција за сложеност, 11-те причини и 7-те поправки. Пресуда за поправката: SHIP IT.
Прочитајте го пишаното издание (англиски) ↗
Што покрива ова видео
- 13:31–13:42 UTC: PR споено, CI зелено (нема тест за процесор), Quicksilver го испраќа правилото до 180+ градови; правилата на WAF ги прескокнуваат фазите DOG → PIG → Canary
- 13:45–14:07: прва страница; процесор 100% ширум светот, сообраќај -82%, 502 насекаде; внатрешниот контролен панел е зад Cloudflare Access, кој е паднат; некои ингеренции се истечени; ретко вежбан бајпас
- 14:07–14:09: глобално прекинување на WAF; сообраќајот и процесорот нормални по 27 минути; 14:52 WAF повторно минус правилото
- 2 јули (15:50 UTC) и 12 јули: Cloudflare ја објавува истата белешка и целиот постмортем; повторно додадена заштита на процесорот, повторно прочитани 3.868 правила, постепено воведување, премин кон regex мотор со линеарно време
Прашања и одговори
Како еден регуларен израз може да собори глобална мрежа?
Регуларен израз со неограничено враќање назад може да го оптовари секое јадро на процесорот што го евалуира. Според постмортемот на Cloudflare, ново правило за заштитен ѕид завршуваше со .*(?:.*=.*), PCRE се враќаше назад низ секое друго разделување, и процесорот достигна 100% на секое јадро што опслужуваше HTTP. Страниците зад Cloudflare враќаа 502 грешки 27 минути, а сообраќајот опадна за 82%.
Зошто правилото за заштитен ѕид во режим на симулација сепак предизвика прекин?
Режимот на симулација спречува правилото да блокира сообраќај, но правилото сè уште се евалуира на секое барање. Правилото споено во 13:31 UTC на 2 јули 2019 година беше правило за меѓусајтно скриптирање во режим на симулација, така што не блокираше ништо, но сепак работеше на секое барање. Постмортемот на Cloudflare вели дека цената на неговата евалуација го исцрпила процесорот.
Како едно правило стигна до секој центар за податоци на Cloudflare за две секунди?
Правилата за заштитен ѕид ја прескокнаа постепената имплементација низ која поминаа другите изданија. Според постмортемот, постапката дозволи секое правило да стане глобално веднаш, бидејќи правилата постојат за да ги запрат активните напади. Ова правило не беше итен случај, а Quicksilver сепак го испрати до 180+ градови за околу две секунди, без тест за процесор во CI за да го фати.
Зошто на Cloudflare му беа потребни 27 минути за да ја исклучи неисправната компонента на заштитниот ѕид?
Внатрешниот контролен панел беше зад Cloudflare Access, кој беше зад Cloudflare, така што прекинот го блокираше пристапот до прекинувачот за убивање. Некои ингеренции истекоа поради неупотреба, а бајпас што ретко се вежбаше траеше околу пет минути. Глобалното исклучување на WAF беше применето во 14:07 UTC, а сообраќајот повторно беше нормален во 14:09.
Треба ли тимовите да ги задржат моторите со регуларни изрази со враќање назад во кодот на патеката на барање по прекинот на Cloudflare?
Пресудата на The Daily Diff беше SHIP IT, за поправката на Cloudflare. Заштитата на процесорот беше вратена, 3.868 правила беа повторно прочитани, правилата минуваат низ постепено воведување, а моторот се префрла на таков со гаранции за линеарно време. Практичниот совет од епизодата е да се избегнуваат шаблони како ѕвезда-точка ѕвезда-точка во сè што работи на секое барање и да се држи прекинувачот за убивање подалеку од системот што го контролира.
Преведен транскрипт
Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.
0:00 Еден регуларен израз почнува да работи на секој Cloudflare сервер истовремено, и во наредните дваесет и седум минути, страниците зад него се страница 502, што, за заштитен ѕид, е најстрогата можна поставка. 2 јули 2019 година, 13:42 UTC. Cloudflare објавува во рок од два часа: не е напад, туку лошо распоредување, сообраќајот е намален за 82 проценти. Десет дена подоцна, CTO Џон Греам-Каминг го објавува целиот постмортем, вклучително и регуларниот израз, а Hacker News му дава 698 поени,
0:26 што за прекин е стоечки овации. Како се случува, зошто е можно и кој всушност ја добива вината. Ова е The Daily Diff, постмортем. 13:31. Се спојува барање за повлекување: едно ново правило за заштитен ѕид против меѓусајтно скриптирање, во режим на симулација, така што не блокира ништо. 13:37, тестовите поминуваат; ниту еден не мери процесор. 13:42, правилото се испраќа до 180 градови за две секунди, бидејќи правилата на WAF ги прескокнуваат фазите dog, pig и canary што ги добиваат другите изданија.
0:54 13:45, прва страница. 13:49, Hacker News има тема на страницата за статус, која сè уште вели дека сите системи се оперативни. Правилото завршува со ѕвезда-точка, ѕвезда-точка, еднакво, ѕвезда-точка: било што, потоа било што, потоа знак за еднаквост. PCRE погодува алчно, не успева, и се враќа низ секој друг разделник. x еднакво на x трае 23 чекори. Дваесет x по еднакво: 555.
1:15 Дваесет x, без знак за еднакво: 4.067 чекори за да се најде ништо. Пуштете го тоа на секое барање и секое јадро е на сто проценти, правејќи ништо, темелно. Две чувари требало да го фатат. Лимитот на процесорот за правила беше отстранет по грешка неколку недели порано, во рефакторинг наменет да го натера WAF да користи помалку процесор. А постапката дозволува секое правило да ја прескокне фазата на тестирање, бидејќи правилата постојат за да ги запрат живите напади; овој не беше итен случај, а сепак стана глобален.
1:37 14:00, WAF е идентификуван; нема напад. 14:02, некој предлага глобално прекинување: една компонента, исклучено, ширум светот. Прекинувачот е зад Cloudflare Access. Cloudflare Access е зад Cloudflare. Некои ингеренции истекле од неупотреба, така што најбрзата мрежа на интернет троши пет минути на заобиколување кое никој не го вежбал. 14:07, убивање. 14:09, сообраќајот е нормален. git blame: распоредување со една брзина, глобално; заштита на процесорот рефакторирана по грешка од
2:04 случајност; мотор со регуларни изрази без горна граница. Не инженерот што го напиша правилото: постмортемот наведува единаесет причини и нема никого. Радиус на удар: 27 минути, 82 проценти од сообраќајот, 100 проценти процесор на секое јадро, во секој град. Таблата со инструменти и API се наоѓаат зад истиот раб, така што корисниците не можат ниту да го исклучат исклучат. Hacker News, под постмортемот: имале еден проблем, користеле регуларен израз, сега имаат два. Стара шега. Сè уште се компајлира.
2:28 Пресуда, постмортем: SHIP IT. Заштитата на процесорот е вратена, сите 3.868 правила се читаат рачно, правилата минуваат низ постепено воведување, а моторот преминува кон таков со линеарно време гаранции, објавени од Кен Томпсон во 1968 година. Понеделник: нема точка-ѕвезда точка-ѕвезда во ништо што работи по барање, и држете го прекинувачот за убивање подалеку од она што го убива. Испратете ми го инцидентот за кој сè уште не ви е дозволено да зборувате, во коментарите, или на the daily diff dot dev.
2:53 И тоа е разликата за денес. Јас сум Нико од Axrisi. Спојувајте одговорно.
Извори
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



