+− THE DAILY DIFFdev & AI news
SHIP IT

Регуларни израз је оборио Cloudflare. 27 минута.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. јула 2019, 13:42 УТЦ: једно ново правило за Cloudflare-ов заштитни зид веб апликације почиње да ради у преко 180 градова за око две секунде. То је XSS правило у симулационом режиму, тако да ништа не блокира, али и даље ради на сваком захтеву и завршава се са .*(?:.*=.*). PCRE се враћа уназад, свако језгро ЦПУ-а које опслужује HTTP достиже 100 %, и сваки сајт који је проксиран преко Cloudflare-а враћа 502 грешку током 27 минута; саобраћај пада за 82 %. Прекидач за искључивање се налази иза Cloudflare Access-а, који се налази иза Cloudflare-а. Постмортем, из Cloudflare-овог сопственог извештаја: заштита ЦПУ-а уклоњена недељама раније у рефакторисању намењеном уштеди ЦПУ-а, процедура која је дозвољавала било ком правилу да прескочи фазу тестирања, механизам без гаранције сложености, 11 узрока и 7 поправки. Пресуда за поправку: SHIP IT.

Прочитајте писано издање (енглески) ↗

Шта овај видео покрива

  • 13:31–13:42 УТЦ: PR спојен, CI зелен (без ЦПУ теста), Quicksilver гура правило у преко 180 градова; WAF правила прескачу фазе DOG → PIG → Canary
  • 13:45–14:07: прва страница; ЦПУ 100 % широм света, саобраћај −82 %, 502 грешке свуда; интерна контролна табла је иза Cloudflare Access-а, који је искључен; неки акредитиви су истекли; ретко коришћен заобилазни пут
  • 14:07–14:09: глобално WAF искључење; саобраћај и ЦПУ нормални након 27 минута; 14:52 WAF поново ради без тог правила
  • 2. јул (15:50 УТЦ) и 12. јул: Cloudflare објављује напомену истог дана и комплетан постмортем; заштита ЦПУ-а поново додата, 3.868 правила поново прочитано, фазна увођења, прелазак на regex механизам са линеарним временом

Питања и одговори

Како један регуларни израз може да сруши глобалну мрежу?

Регуларни израз са неограниченим повратним праћењем може да оптерети свако ЦПУ језгро које га процењује. Према Cloudflare-овом постмортему, ново правило за заштитни зид завршавало се са .*(?:.*=.*), PCRE се враћао уназад кроз сваку другу поделу, а ЦПУ је достигао 100 % на сваком језгру које је опслуживало HTTP. Сајтови иза Cloudflare-а враћали су 502 грешке током 27 минута, а саобраћај је опао за 82 %.

blog.cloudflare.com · blog.cloudflare.com

Зашто је правило за заштитни зид у симулационом режиму и даље проузроковало прекид рада?

Симулациони режим спречава правило да блокира саобраћај, али се правило и даље процењује на сваком захтеву. Правило које је спојено 2. јула 2019. у 13:31 УТЦ било је правило за унакрсно скриптовање у симулационом режиму, тако да ништа није блокирало, али се ипак извршавало на сваком захтеву. Cloudflare-ов постмортем каже да је трошак његове процене исцрпео ЦПУ.

blog.cloudflare.com

Како је једно правило стигло до сваког Cloudflare центра података за две секунде?

Правила за заштитни зид су прескочила фазно увођење које су прошле друге верзије. Према постмортему, процедура је омогућила да било које правило одмах постане глобално јер правила постоје да зауставе нападе уживо. Ово правило није било хитно, а Quicksilver га је ипак послао у преко 180 градова за око две секунде, без ЦПУ теста у CI који би га ухватио.

blog.cloudflare.com · blog.cloudflare.com

Зашто је Cloudflare-у требало 27 минута да искључи неисправну компоненту заштитног зида?

Интерна контролна табла се налазила иза Cloudflare Access-а, који се налазио иза Cloudflare-а, тако да је прекид рада блокирао пут до прекидача за искључивање. Неки акредитиви су истекли због некоришћења, а заобилазни пут који је ретко коришћен трајао је око пет минута. Глобално WAF искључење је примењено 2. јула 2019. у 14:07 УТЦ, а саобраћај је поново био нормалан у 14:09.

blog.cloudflare.com · x.com

Да ли тимови треба да задрже regex механизме са повратним праћењем у коду путање захтева након Cloudflare прекида?

Пресуда The Daily Diff-а била је SHIP IT, за Cloudflare-ову поправку. Заштита ЦПУ-а је враћена, 3.868 правила је поново прочитано, правила пролазе кроз фазне распореде, а механизам прелази на онај са гаранцијама линеарног времена. Практични савет епизоде је да се избегавају обрасци попут тачка-звезда тачка-звезда у било чему што се покреће на сваком захтеву и да се прекидач за искључивање држи даље од система који контролише.

blog.cloudflare.com

Преведени транскрипт

Преведено са оригиналне енглеске нарације. Доступни аудио и титлови контролисани су од стране YouTube-а.

0:00 Један регуларни израз почиње да ради на сваком Cloudflare серверу одједном, и наредних двадесет седам минута сајтови иза њега су страница са грешком 502, што је, за заштитни зид, најстроже могуће подешавање. 2. јул 2019, 13:42 УТЦ. Cloudflare објављује у року од два сата: није напад, лош распоред, саобраћај смањен за 82 процента. Десет дана касније CTO John Graham-Cumming објављује комплетан постмортем, укључујући регуларни израз, а Hacker News му даје 698 поена,

0:26 што је за прекид рада стојеће овације. Како се то дешава, зашто је то могуће и ко заправо сноси кривицу. Ово је The Daily Diff, постмортем. 13:31. Захтев за повлачење се спаја: једно ново правило за заштитни зид против унакрсног скриптовања, у симулационом режиму, тако да ништа не блокира. 13:37, тестови пролазе; ниједан не мери ЦПУ. 13:42, правило се шаље у 180 градова за две секунде, јер WAF правила прескачу фазе пса, свиње и канаринца које добијају друга издања.

0:54 13:45, прва страница. 13:49, Hacker News има тему о страници статуса, која и даље каже да су сви системи оперативни. Правило се завршава са тачка-звезда, тачка-звезда, једнако, тачка-звезда: било шта, затим било шта, затим знак једнакости. PCRE погађа похлепно, не успева и враћа се уназад кроз сваки други поделак. x једнако x траје 23 корака. Двадесет x-ова после једнакости: 555.

1:15 Двадесет x-ова, без знака једнакости: 4.067 корака да се ништа не пронађе. Покрените то на сваком захтеву и свако језгро је на сто посто, не радећи ништа, темељно. Два чувара су то требала да ухвате. Ограничење ЦПУ-а на правилима је уклоњено грешком недељама раније, у рефакторисању намењеном да WAF користи мање ЦПУ-а. И процедура дозвољава било ком правилу да прескочи фазу тестирања, јер правила постоје да зауставе нападе уживо; ово није била хитна ситуација, и ипак је отишло глобално.

1:37 14:00, WAF је идентификован; нема напада. 14:02, неко предлаже глобално искључење: једна компонента, искључена, широм света. Прекидач је иза Cloudflare Access-а. Cloudflare Access је иза Cloudflare-а. Неки акредитиви су истекли због некоришћења, тако да најбржа мрежа на интернету проводи пет минута на заобилазном путу који нико није вежбао. 14:07, искључивање. 14:09, саобраћај нормалан. git blame: распоређивање са једном брзином, глобално; заштита ЦПУ-а рефакторисана случајно;

2:04 regex механизам без горње границе. Није инжењер који је написао правило: постмортем наводи једанаест узрока и никога не именује. Радијус експлозије: 27 минута, 82 процента саобраћаја, 100 посто ЦПУ-а на сваком језгру, у сваком граду. Контролна табла и АПИ налазе се иза истог ивичног дела, тако да корисници не могу чак ни да га искључе. Hacker News, испод постмортема: имали су један проблем, користили су регуларни израз, сада имају два. Стари виц. Још увек се компајлира.

2:28 Пресуда, постмортем: ship it. Заштита ЦПУ-а је враћена, свих 3.868 правила се чита ручно, правила пролазе кроз фазе тестирања, а механизам прелази на онај са линеарним временом гаранцијама, објављен од стране Кена Томпсона 1968. године. Понедељак: без тачка-звезда тачка-звезда у било чему што се покреће по захтеву, и држите прекидач за искључивање даље од ствари које убија. Пошаљите ми инцидент о коме вам још увек није дозвољено да причате, у коментарима, или на the daily diff dot dev.

2:53 И то је разлика за данас. Ја сам Нико из Axrisi-ја. Спајајте одговорно.

Извори

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Повезани видеи

postmortem · sr · 25. 9. 2026.

Грешка од једне милисекунде зауставила је ваздушни саобраћај у Великој Британији. Шест сати.

У уторак, 8. септембра, у 10:00, један рутински захтев за squawk-код у Националном систему ваздушног простора (NAS) компаније NATS бива прекинут поруком вишег приоритета док је делимично ажурирао вред

3:06 ↗