+− THE DAILY DIFFdev & AI news
SHIP IT

Рэгулярны выраз вывеў Cloudflare з ладу. 27 хвілін.

2 ліпеня 2019 г., 13:42 UTC: адно новае правіла для Web Application Firewall ад Cloudflare запускаецца ў 180+ гарадах прыкладна за дзве секунды.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 ліпеня 2019 г., 13:42 UTC: адно новае правіла для Web Application Firewall ад Cloudflare запускаецца ў 180+ гарадах прыкладна за дзве секунды. Гэта правіла XSS у рэжыме мадэлявання, таму яно нічога не блакуе, але ўсё роўна выконваецца пры кожным запыце і заканчваецца на .*(?:.*=.*). PCRE адкатваецца, кожнае ядро працэсара, якое абслугоўвае HTTP, дасягае 100 %, і кожны сайт, праксіраваны Cloudflare, вяртае 502 на працягу 27 хвілін; трафік падае на 82 %. Выключальнік знаходзіцца за Cloudflare Access, які знаходзіцца за Cloudflare. Постфактум, з уласнага справаздачы Cloudflare: абарона працэсара, выдаленая за некалькі тыдняў да гэтага падчас рэфактарынгу, прызначанага для эканоміі працэсара, працэдура, якая дазваляла любому правілу прапускаць стэйджынг, рухавік без гарантыі складанасці, 11 прычын і 7 выпраўленняў. Вердыкт па выпраўленні: SHIP IT.

Чытаць пісьмовае выданне (англійская) ↗

Што ахоплівае гэта відэа

  • 13:31–13:42 UTC: PR аб'яднаны, CI зялёны (без тэсту CPU), Quicksilver адпраўляе правіла ў 180+ гарадоў; правілы WAF прапускаюць этапы DOG → PIG → Canary
  • 13:45–14:07: першая старонка; CPU 100 % па ўсім свеце, трафік −82 %, 502 па ўсім свеце; унутраная панэль кіравання знаходзіцца за Cloudflare Access, якая не працуе; некаторыя ўліковыя дадзеныя скончыліся; рэдка выкарыстоўваемы абыход
  • 14:07–14:09: глабальнае завяршэнне WAF; трафік і CPU нармальныя праз 27 хвілін; 14:52 WAF вяртаецца без правіла
  • 2 ліпеня (15:50 UTC) і 12 ліпеня: Cloudflare публікуе нататку ў той жа дзень і поўны постфактум; абарона CPU адноўлена, 3868 правілаў перачытаны, паэтапныя разгортванні, пераход на рухавік рэгулярных выразаў з лінейным часам

Пытанні і адказы

Як адзін рэгулярны выраз можа вывесці з ладу глабальную сетку?

Рэгулярны выраз з неабмежаваным адкатам можа нагрузіць кожнае ядро CPU, якое яго ацэньвае. Згодна з постфактумам Cloudflare, новае правіла брандмаўэра заканчвалася на .*(?:.*=.*), PCRE адкатваўся праз кожны іншы падзел, і CPU дасягнуў 100 % на кожным ядры, якое абслугоўвае HTTP. Сайты за Cloudflare вярталі памылкі 502 на працягу 27 хвілін, і трафік упаў на 82 %.

blog.cloudflare.com · blog.cloudflare.com

Чаму правіла брандмаўэра ў рэжыме мадэлявання ўсё роўна выклікала адключэнне?

Рэжым мадэлявання не дазваляе правілу блакаваць трафік, але правіла ўсё роўна ацэньваецца пры кожным запыце. Правіла, аб'яднанае ў 13:31 UTC 2 ліпеня 2019 г., было правілам міжсайтавага скрыптынгу ў рэжыме мадэлявання, таму яно нічога не блакавала, але выконвалася пры кожным запыце. Постфактум Cloudflare сцвярджае, што кошт яго ацэнкі вычарпаў CPU.

blog.cloudflare.com

Як адно правіла дасягнула кожнага цэнтра апрацоўкі дадзеных Cloudflare за дзве секунды?

Правілы брандмаўэра прапусцілі паэтапнае разгортванне, праз якое праходзілі іншыя рэлізы. Згодна з постфактумам, працэдура дазваляла любому правілу стаць глабальным адразу, таму што правілы існуюць для спынення жывых атак. Гэта правіла не было надзвычайнай сітуацыяй, і Quicksilver усё роўна адправіў яго ў 180+ гарадоў прыкладна за дзве секунды, без тэсту CPU ў CI, каб яго злавіць.

blog.cloudflare.com · blog.cloudflare.com

Чаму Cloudflare спатрэбілася 27 хвілін, каб выключыць няспраўны кампанент брандмаўэра?

Унутраная панэль кіравання знаходзілася за Cloudflare Access, якая знаходзілася за Cloudflare, таму адключэнне заблакавала шлях да выключальніка. Некаторыя ўліковыя дадзеныя скончыліся ад невыкарыстання, і абыход, які рэдка выкарыстоўваўся, заняў каля пяці хвілін. Глабальнае спыненне WAF было ўжыта ў 14:07 UTC, і трафік зноў быў нармальным у 14:09.

blog.cloudflare.com · x.com

Ці павінны каманды захоўваць рухавікі рэгулярных выразаў з адкатам у кодзе шляху запыту пасля адключэння Cloudflare?

Вердыкт The Daily Diff быў SHIP IT для выпраўлення Cloudflare. Абарона CPU была адноўлена, 3868 правілаў былі перачытаны, правілы праходзяць паэтапнае разгортванне, і рухавік пераходзіць на той, які мае гарантыі лінейнага часу. Практычная парада эпізоду - пазбягаць шаблонаў, такіх як кропка-зорачка кропка-зорачка, у тым, што выконваецца на кожны запыт, і трымаць выключальнік удалечыні ад сістэмы, якой ён кіруе.

blog.cloudflare.com

Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

0:00 Адзін рэгулярны выраз запускаецца на кожным серверы Cloudflare адначасова, і на працягу наступных дваццаці сямі хвілін сайты за ім з'яўляюцца старонкай 502, што для брандмаўэра з'яўляецца самым строгім магчымым наладай. 2 ліпеня 2019 года, 13:42 UTC. Cloudflare публікуе праз дзве гадзіны: не атака, а дрэннае разгортванне, трафік знізіўся на 82 працэнты. Праз дзесяць дзён тэхнічны дырэктар Джон Грэм-Камінг публікуе поўны постфактум, уключаючы рэгулярны выраз, і Hacker News дае яму 698 балаў,

0:26 што для адключэння з'яўляецца авацыяй. Як гэта адбываецца, чаму гэта магчыма і хто насамрэч вінаваты. Гэта The Daily Diff, постфактум. 13:31. Запыт на зліццё аб'ядноўваецца: адно новае правіла брандмаўэра супраць міжсайтавых скрыптаў, у рэжыме мадэлявання, таму яно нічога не блакуе. 13:37, тэсты прайшлі; ні адзін не вымярае CPU. 13:42, правіла адпраўляецца ў 180 гарадоў за дзве секунды, таму што правілы WAF прапускаюць этапы dog, pig і canary, якія праходзяць іншыя рэлізы.

0:54 13:45, першая старонка. 13:49, Hacker News мае тэму на старонцы стану, якая ўсё яшчэ кажа, што ўсе сістэмы працуюць. Правіла заканчваецца на кропка-зорачка, кропка-зорачка, роўна, кропка-зорачка: што заўгодна, потым што заўгодна, потым знак роўнасці. PCRE здагадваецца прагна, церпіць няўдачу і адкатваецца праз кожны іншы падзел. x роўна x займае 23 крокі. Дваццаць іксаў пасля роўнасці: 555.

1:15 Дваццаць іксаў, без знака роўнасці: 4067 крокаў, каб нічога не знайсці. Запусціце гэта на кожны запыт, і кожнае ядро будзе на ста працэнтах, нічога не робячы, старанна. Два ахоўнікі павінны былі гэта злавіць. Абмежаванне CPU на правілы было выдалена па памылцы за некалькі тыдняў да гэтага, падчас рэфактарынгу, прызначанага для таго, каб WAF выкарыстоўваў менш CPU. І працэдура дазваляе любому правілу прапускаць стэйджынг, таму што правілы існуюць для спынення жывых атак; гэта не было надзвычайнай сітуацыяй, і яно ўсё роўна стала глабальным.

1:37 14:00, WAF ідэнтыфікаваны; без атакі. 14:02, нехта прапануе глабальнае спыненне: адзін кампанент, выключаны, па ўсім свеце. Выключальнік знаходзіцца за Cloudflare Access. Cloudflare Access знаходзіцца за Cloudflare. Некаторыя ўліковыя дадзеныя скончыліся ад невыкарыстання, таму самая хуткая сетка ў інтэрнэце правяла пяць хвілін на абыходзе, які ніхто не выкарыстоўваў. 14:07, выключэнне. 14:09, трафік нармальны. git blame: разгортванне з адной хуткасцю, глабальнае; абарона CPU, выключаная падчас рэфактарынгу

2:04 памылкова; рухавік рэгулярных выразаў без верхняй мяжы. Не інжынер, які напісаў правіла: у постфактуме пералічаны адзінаццаць прычын і нікога не называе. Радыус выбуху: 27 хвілін, 82 працэнты трафіку, 100 працэнтаў CPU на кожным ядры, у кожным горадзе. Панэль кіравання і API знаходзяцца за тым жа краем, таму кліенты нават не могуць яго выключыць. Hacker News, пад постфактумам: у іх была адна праблема, выкарысталі рэгулярны выраз, цяпер у іх дзве. Стары жарт. Усё яшчэ кампілюецца.

2:28 Вердыкт, постфактум: SHIP IT. Абарона CPU адноўлена, усе 3868 правілаў чытаюцца ўручную, правілы праходзяць стэйджынг, і рухавік пераходзіць на той, які мае лінейны час гарантыі, апублікаваныя Кенам Томпсанам у 1968 годзе. Панядзелак: без кропка-зорачка кропка-зорачка ў тым, што выконваецца на запыт, і трымайце выключальнік удалечыні ад таго, што ён выключае. Дасылайце мне інцыдэнт, пра які вам усё яшчэ не дазволена гаварыць, у каментарах або на daily diff dot dev.

2:53 І гэта розніца на сёння. Я Ніка з Axrisi. Аб'ядноўвайце адказна.

Крыніцы

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Звязаныя відэа

postmortem · be · 25 вер 2026 г.

Баг у адну мілісекунду спыніў паветраны рух Вялікабрытаніі. На шэсць гадзін.

У 10:00 у аўторак, 8 верасня, адзін звычайны запыт squawk-кода ў Нацыянальнай паветранай сістэме (NAS) NATS быў перапынены паведамленнем з больш высокім прыярытэтам, пакуль ён знаходзіўся на паўдарогі

3:06 ↗
postmortem · be · 22 вер 2026 г.

Перазагрузка адправіла Telstra ў 2006 год. Дзевяць мільёнаў тэлефонаў.

Інжынер у Мельбурне ўключае шасі сінхранізацыі ў 2:50 раніцы, і да сняданку найбуйнейшая мабільная сетка Аўстраліі пагаджаецца, што гэта лістапад 2006 года. 8 ліпеня 2026 года: карта GPS у шасі NTP Te

3:15 ↗