Регулярное выражение обрушило Cloudflare. 27 минут.
2 июля 2019 года, 13:42 UTC: новое правило для брандмауэра веб-приложений Cloudflare вступает в силу в более чем 180 городах примерно за две секунды.
2 июля 2019 года, 13:42 UTC: новое правило для брандмауэра веб-приложений Cloudflare вступает в силу в более чем 180 городах примерно за две секунды. Это правило XSS в режиме симуляции, поэтому оно ничего не блокирует, но оно все равно выполняется при каждом запросе и заканчивается на .*(?:.*=.*). PCRE отслеживает, каждое ядро ЦП, обслуживающее HTTP-запросы, достигает 100%, и каждый проксированный Cloudflare сайт возвращает 502 ошибку в течение 27 минут; трафик падает на 82%. Аварийный выключатель находится за Cloudflare Access, который находится за Cloudflare. Отчет о происшествии, из собственного отчета Cloudflare: защита ЦП, удаленная неделями ранее при рефакторинге, предназначенном для экономии ЦП, процедура, позволяющая любому правилу пропускать промежуточные этапы, движок без гарантии сложности, 11 причин и 7 исправлений. Вердикт по исправлению: SHIP IT.
Читать письменное издание (на английском) ↗
Что освещается в этом видео
- 13:31–13:42 UTC: PR объединен, CI зеленый (нет теста ЦП), Quicksilver распространяет правило на более чем 180 городов; правила WAF пропускают стадии DOG → PIG → Canary
- 13:45–14:07: первая страница; ЦП 100% по всему миру, трафик -82%, везде 502 ошибки; внутренняя панель управления находится за Cloudflare Access, который не работает; срок действия некоторых учетных данных истек; редко используемый обходной путь
- 14:07–14:09: глобальное отключение WAF; трафик и ЦП в норме через 27 минут; 14:52 WAF возвращается за вычетом правила
- 2 июля (15:50 UTC) и 12 июля: Cloudflare публикует записку в тот же день и полный отчет о происшествии; защита ЦП добавлена снова, 3868 правил перечитаны, поэтапное внедрение, переход на движок регулярных выражений с линейным временем
Вопросы и ответы
Как одно регулярное выражение может обрушить глобальную сеть?
Регулярное выражение с неограниченным откатом может загрузить каждое ядро ЦП, которое его оценивает. Согласно отчету о происшествии Cloudflare, новое правило брандмауэра заканчивалось на .*(?:.*=.*), PCRE отслеживало каждое другое разделение, и ЦП достигал 100% на каждом ядре, обслуживающем HTTP. Сайты за Cloudflare возвращали ошибки 502 в течение 27 минут, а трафик упал на 82%.
Почему правило брандмауэра в режиме симуляции все равно вызвало сбой?
Режим симуляции не позволяет правилу блокировать трафик, но правило все равно оценивается при каждом запросе. Правило, объединенное 2 июля 2019 года в 13:31 UTC, было правилом межсайтового скриптинга в режиме симуляции, поэтому оно ничего не блокировало, но выполнялось при каждом запросе. В отчете Cloudflare о происшествии говорится, что стоимость его оценки исчерпала ЦП.
Как одно правило достигло каждого центра обработки данных Cloudflare за две секунды?
Правила брандмауэра пропускали поэтапное развертывание, которое проходили другие релизы. Согласно отчету о происшествии, процедура позволяла любому правилу мгновенно стать глобальным, потому что правила существуют для остановки живых атак. Это правило не было чрезвычайной ситуацией, и Quicksilver все равно распространил его на более чем 180 городов примерно за две секунды, без теста ЦП в CI, чтобы его обнаружить.
Почему Cloudflare потребовалось 27 минут, чтобы отключить неисправный компонент брандмауэра?
Внутренняя панель управления находилась за Cloudflare Access, который находился за Cloudflare, поэтому сбой заблокировал путь к аварийному выключателю. Срок действия некоторых учетных данных истек из-за неиспользования, и обходной путь, который редко тренировался, занял около пяти минут. Глобальное отключение WAF было применено в 14:07 UTC, и трафик снова стал нормальным в 14:09.
Следует ли командам сохранять движки регулярных выражений с откатом в коде пути запроса после сбоя Cloudflare?
Вердикт The Daily Diff был SHIP IT для исправления Cloudflare. Защита ЦП была восстановлена, 3868 правил были перечитаны, правила проходят поэтапное развертывание, и движок переходит на движок с линейной гарантией времени. Практический совет этого эпизода состоит в том, чтобы избегать шаблонов, таких как точка-звезда точка-звезда, во всем, что выполняется при каждом запросе, и держать аварийный выключатель отдельно от системы, которую он контролирует.
Переведенная стенограмма
Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.
0:00 Одно регулярное выражение одновременно запускается на каждом сервере Cloudflare, и в течение следующих двадцати семи минут сайты за ним показывают страницу 502, что для брандмауэра является максимально строгой настройкой. 2 июля 2019 года, 13:42 UTC. Cloudflare публикует сообщение в течение двух часов: не атака, а неудачное развертывание, трафик упал на 82 процента. Через десять дней технический директор Джон Грэм-Камминг публикует полный отчет о происшествии, включая регулярное выражение, и Hacker News дает ему 698 баллов,
0:26 что для сбоя является овациями. Как это происходит, почему это возможно и кто на самом деле виноват. Это The Daily Diff, отчет о происшествии. 13:31. Объединен запрос на слияние: одно новое правило брандмауэра против межсайтового скриптинга, в режиме симуляции, поэтому оно ничего не блокирует. 13:37, тесты пройдены; ни один из них не измеряет ЦП. 13:42, правило отправляется в 180 городов за две секунды, потому что правила WAF пропускают стадии "собака", "свинья" и "канарейка", которые проходят другие релизы.
0:54 13:45, первая страница. 13:49, на Hacker News есть ветка о странице состояния, которая до сих пор говорит, что все системы работают. Правило заканчивается на точка-звезда, точка-звезда, равно, точка-звезда: что угодно, затем что угодно, затем знак равенства. PCRE жадно угадывает, терпит неудачу и откатывается через каждое другое разделение. x равно x занимает 23 шага. Двадцать x после знака равенства: 555.
1:15 Двадцать x, без знака равенства: 4067 шагов, чтобы ничего не найти. Запустите это при каждом запросе, и каждое ядро будет работать на сто процентов, ничего не делая, основательно. Два охранника должны были это заметить. Лимит ЦП на правила был случайно удален неделями ранее, в рефакторинге, предназначенном для того, чтобы WAF использовал меньше ЦП. И процедура позволяет любому правилу пропускать промежуточные этапы, потому что правила существуют для остановки живых атак; это не было чрезвычайной ситуацией, и оно все равно стало глобальным.
1:37 14:00, WAF идентифицирован; атаки нет. 14:02, кто-то предлагает глобальное отключение: один компонент, выключить, по всему миру. Переключатель находится за Cloudflare Access. Cloudflare Access находится за Cloudflare. Срок действия некоторых учетных данных истек из-за неиспользования, поэтому самая быстрая сеть в интернете тратит пять минут на обходной путь, который никто не тренировал. 14:07, отключение. 14:09, трафик в норме. git blame: развертывание с одной скоростью, глобальное; защита ЦП случайно удалена при рефакторинге;
2:04 движок регулярных выражений без верхней границы. Не инженер, который написал правило: отчет о происшествии перечисляет одиннадцать причин и никого не называет. Радиус поражения: 27 минут, 82 процента трафика, 100 процентов ЦП на каждом ядре, в каждом городе. Панель управления и API находятся за тем же пограничным узлом, поэтому клиенты не могут даже выключить его. Hacker News, под отчетом о происшествии: у них была одна проблема, использовали регулярное выражение, теперь у них две. Старая шутка. Все еще компилируется.
2:28 Вердикт, отчет о происшествии: ship it. Защита ЦП восстановлена, все 3868 правил перечитаны вручную, правила проходят поэтапное внедрение, и движок переходит на движок с линейной сложностью, опубликованный Кеном Томпсоном в 1968 году. Понедельник: никаких точка-звезда точка-звезда во всем, что выполняется при каждом запросе, и держите аварийный выключатель подальше от того, что он отключает. Пришлите мне инцидент, о котором вам до сих пор не разрешено говорить, в комментариях или на daily diff dot dev.
2:53 И это diff на сегодня. Я Нико из Axrisi. Объединяйте ответственно.
Источники
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



