+− THE DAILY DIFFdev & AI news
SHIP IT

Регулярний вираз вивів Cloudflare з ладу. 27 хвилин.

2 липня 2019 року, 13:42 UTC: одне нове правило для міжмережевого екрана веб-додатків Cloudflare запускається у понад 180 містах приблизно за дві секунди.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 липня 2019 року, 13:42 UTC: одне нове правило для міжмережевого екрана веб-додатків Cloudflare запускається у понад 180 містах приблизно за дві секунди. Це правило XSS у режимі симуляції, тому воно нічого не блокує, але все одно виконується для кожного запиту і закінчується на .*(?:.*=.*). PCRE здійснює відкат, кожне ядро процесора, що обслуговує HTTP-запити, досягає 100%, і кожен сайт, проксійований Cloudflare, повертає 502 протягом 27 хвилин; трафік падає на 82%. Аварійний вимикач знаходиться за Cloudflare Access, який знаходиться за Cloudflare. Посмертний аналіз, за власною статтею Cloudflare: захист ЦП, видалений тижнями раніше під час рефакторингу, призначеного для економії ЦП, процедура, яка дозволяла будь-якому правилу пропускати проміжний етап, механізм без гарантії складності, 11 причин і 7 виправлень. Вердикт щодо виправлення: SHIP IT.

Читати письмову версію (англійською) ↗

Що охоплює це відео

  • 13:31–13:42 UTC: PR об'єднано, CI зелений (без тесту ЦП), Quicksilver розгортає правило у понад 180 містах; правила WAF пропускають етапи DOG → PIG → Canary
  • 13:45–14:07: перша сторінка; ЦП 100% по всьому світу, трафік -82%, 502 помилки скрізь; внутрішня панель керування знаходиться за Cloudflare Access, який не працює; деякі облікові дані прострочені; рідко використовуваний обхідний шлях
  • 14:07–14:09: глобальне відключення WAF; трафік та ЦП нормалізуються через 27 хвилин; 14:52 WAF повертається без правила
  • 2 липня (15:50 UTC) та 12 липня: Cloudflare публікує того ж дня замітку та повний посмертний аналіз; захист ЦП знову додано, 3868 правил перечитано, поетапні розгортання, перехід на механізм регулярних виразів з лінійним часом виконання

Запитання та відповіді

Як один регулярний вираз може вивести з ладу глобальну мережу?

Регулярний вираз з необмеженим відкатом може завантажити кожне ядро ЦП, що його обробляє. Згідно з посмертним аналізом Cloudflare, нове правило міжмережевого екрана закінчувалося на .*(?:.*=.*), PCRE відкочувався через кожне інше розбиття, і ЦП досягав 100% на кожному ядрі, що обслуговувало HTTP. Сайти за Cloudflare повертали помилки 502 протягом 27 хвилин, а трафік впав на 82%.

blog.cloudflare.com · blog.cloudflare.com

Чому правило міжмережевого екрана в режимі симуляції все ж спричинило збій?

Режим симуляції зупиняє блокування трафіку правилом, але правило все ще оцінюється для кожного запиту. Правило, об'єднане о 13:31 UTC 2 липня 2019 року, було правилом міжсайтового скриптингу в режимі симуляції, тому воно нічого не блокувало, але все ж виконувалося для кожного запиту. Посмертний аналіз Cloudflare стверджує, що вартість його оцінки вичерпала ЦП.

blog.cloudflare.com

Як одне правило досягло кожного центру обробки даних Cloudflare за дві секунди?

Правила міжмережевого екрана пропустили поетапне розгортання, яке проходили інші релізи. Згідно з посмертним аналізом, процедура дозволяла будь-якому правилу стати глобальним відразу, оскільки правила існують для зупинки реальних атак. Це правило не було надзвичайною ситуацією, і Quicksilver все одно розгорнув його у понад 180 містах приблизно за дві секунди, без тесту ЦП у CI, щоб його виявити.

blog.cloudflare.com · blog.cloudflare.com

Чому Cloudflare знадобилося 27 хвилин, щоб вимкнути несправний компонент міжмережевого екрана?

Внутрішня панель керування знаходилася за Cloudflare Access, який знаходився за Cloudflare, тому збій заблокував шлях до аварійного вимикача. Деякі облікові дані прострочилися через невикористання, і обхідний шлях, який рідко тренувався, зайняв близько п'яти хвилин. Глобальне відключення WAF було застосовано о 14:07 UTC, а трафік нормалізувався о 14:09.

blog.cloudflare.com · x.com

Чи повинні команди залишати механізми регулярних виразів з відкатом у коді шляху запиту після збою Cloudflare?

Вердикт The Daily Diff був SHIP IT щодо виправлення Cloudflare. Захист ЦП було відновлено, 3868 правил було перечитано, правила проходять поетапне розгортання, і механізм переходить до того, що має лінійно-часові гарантії. Практична порада цього епізоду полягає в тому, щоб уникати шаблонів, таких як крапка-зірка крапка-зірка, у всьому, що виконується для кожного запиту, і тримати аварійний вимикач подалі від системи, якою він керує.

blog.cloudflare.com

Перекладена стенограма

Перекладено з оригінальної англійської розповіді. Доступне аудіо та субтитри контролюються YouTube.

0:00 Один регулярний вираз запускається на кожному сервері Cloudflare одночасно, і протягом наступних двадцяти семи хвилин сайти за ним показують сторінку 502, що для міжмережевого екрана є найсуворішим можливим налаштуванням. 2 липня 2019 року, 13:42 UTC. Cloudflare публікує протягом двох годин: не атака, а невдале розгортання, трафік знизився на 82 відсотки. Через десять днів технічний директор Джон Грем-Каммінг публікує повний посмертний аналіз, включаючи регулярний вираз, і Hacker News дає йому 698 балів,

0:26 що для збою є оваціями. Як це відбувається, чому це можливо, і хто насправді винен. Це The Daily Diff, посмертний аналіз. 13:31. Запит на злиття схвалено: одне нове правило міжмережевого екрана проти міжсайтового скриптингу, у режимі симуляції, тому воно нічого не блокує. 13:37, тести пройдено; жоден не вимірює ЦП. 13:42, правило відправлено до 180 міст за дві секунди, тому що правила WAF пропускають етапи dog, pig і canary, які проходять інші релізи.

0:54 13:45, перша сторінка. 13:49, Hacker News має гілку на сторінці стану, яка все ще говорить, що всі системи працюють. Правило закінчується на крапка-зірка, крапка-зірка, дорівнює, крапка-зірка: що завгодно, потім що завгодно, потім знак дорівнює. PCRE жадібно вгадує, зазнає невдачі та повертається через кожне інше розбиття. x дорівнює x займає 23 кроки. Двадцять x після знака дорівнює: 555.

1:15 Двадцять x, без знака дорівнює: 4067 кроків, щоб нічого не знайти. Запустіть це на кожен запит, і кожне ядро буде на сто відсотків, нічого не роблячи, ретельно. Два захисники повинні були це спіймати. Обмеження ЦП на правила було помилково видалено тижнями раніше, під час рефакторингу, призначеного для того, щоб WAF використовував менше ЦП. І процедура дозволяє будь-якому правилу пропускати проміжний етап, тому що правила існують для зупинки реальних атак; це не було надзвичайною ситуацією, і воно все одно стало глобальним.

1:37 14:00, WAF ідентифіковано; атаки немає. 14:02, хтось пропонує глобальне припинення: один компонент, вимкнений, по всьому світу. Перемикач знаходиться за Cloudflare Access. Cloudflare Access знаходиться за Cloudflare. Деякі облікові дані прострочені через невикористання, тому найшвидша мережа в інтернеті витрачає п'ять хвилин на обхідний шлях, який ніхто не тренував. 14:07, вимкнення. 14:09, трафік нормалізувався. git blame: розгортання з однією швидкістю, глобальне; захист ЦП, рефакторингом видалений

2:04 випадково; механізм регулярних виразів без верхньої межі. Не інженер, який написав правило: посмертний аналіз перераховує одинадцять причин і нікого не називає. Радіус ураження: 27 хвилин, 82 відсотки трафіку, 100 відсотків ЦП на кожному ядрі, у кожному місті. Панель приладів та API знаходяться за тим самим краєм, тому клієнти навіть не можуть вимкнути це. Hacker News, під посмертним аналізом: у них була одна проблема, використовували регулярний вираз, тепер у них їх дві. Старий жарт. Все ще компілюється.

2:28 Вердикт, посмертний аналіз: SHIP IT. Захист ЦП відновлено, всі 3868 правил перечитано вручну, правила проходять поетапне розгортання, і механізм переходить до того, що має лінійно-часові гарантії, опубліковані Кеном Томпсоном у 1968 році. Понеділок: жодних крапка-зірка крапка-зірка у всьому, що запускається за запитом, і тримайте аварійний вимикач подалі від того, що він вимикає. Надішліть мені інцидент, про який вам все ще не дозволено говорити, у коментарях, або на the daily diff dot dev.

2:53 І це diff на сьогодні. Я Ніко з Axrisi. Відповідально об'єднуйте.

Джерела

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Пов'язані відео

postmortem · uk · 25 вер. 2026 р.

Мільйонна частка секунди зупинила авіатрафік Великої Британії. Шість годин.

О 10:00 у вівторок, 8 вересня, один звичайний запит коду транспондера в Національній системі повітряного простору (NAS) NATS переривається повідомленням з вищим пріоритетом, доки він частково оновлює

3:06 ↗
postmortem · uk · 22 вер. 2026 р.

Перезавантаження відкинуло Telstra у 2006 рік. Дев'ять мільйонів телефонів.

Інженер у Мельбурні о 2:50 ночі знову вмикає шасі синхронізації, і до сніданку найбільша мобільна мережа Австралії погоджується, що зараз листопад 2006 року. 8 липня 2026 року: GPS-карта в шасі NTP Te

3:15 ↗