一个正则表达式导致Cloudflare宕机27分钟。
2019年7月2日,世界标准时间13:42:Cloudflare网络应用防火墙的一条新规则在大约两秒钟内在全球180多个城市上线。
2019年7月2日,世界标准时间13:42:Cloudflare网络应用防火墙的一条新规则在大约两秒钟内在全球180多个城市上线。这是一条处于模拟模式的XSS规则,因此它不会阻止任何内容,但它仍然在每个请求上运行,并且以.*(?:.*=.*)结尾。PCRE回溯,每个处理HTTP请求的CPU核心都达到了100%,所有经过Cloudflare代理的网站在27分钟内返回502错误;流量下降了82%。这个终止开关位于Cloudflare Access后面,而Cloudflare Access又位于Cloudflare后面。根据Cloudflare自己的事后分析:几周前为了节省CPU而进行的代码重构中移除了CPU保护机制,允许任何规则跳过测试阶段的程序,没有复杂度保证的引擎,11个原因和7个修复措施。修复方案的结论:SHIP IT。
本视频涵盖的内容
- 世界标准时间13:31–13:42:PR合并,CI通过(无CPU测试),Quicksilver将规则推送到180多个城市;WAF规则跳过DOG → PIG → Canary阶段。
- 13:45–14:07:首页加载,全球CPU100%,流量下降82%,各地出现502错误;内部控制面板位于Cloudflare Access之后,Cloudflare Access已宕机;一些凭据已过期;一个很少演练的绕过方法。
- 14:07–14:09:全球WAF终止;27分钟后流量和CPU恢复正常;14:52 WAF恢复,但移除了该规则。
- 7月2日(世界标准时间15:50)和7月12日:Cloudflare发布了当日通知和完整的事后分析;重新添加了CPU保护,重新读取了3868条规则,分阶段推出,改用线性时间正则表达式引擎。
常见问题
一个正则表达式如何能导致全球网络瘫痪?
一个无限制回溯的正则表达式会耗尽评估它的每个CPU核心。根据Cloudflare的事后分析,一条新的防火墙规则以.*(?:.*=.*)结尾,PCRE回溯了所有其他分割点,导致每个处理HTTP请求的CPU核心都达到了100%的负载。Cloudflare代理的网站在27分钟内返回502错误,流量下降了82%。
为什么模拟模式下的防火墙规则仍然会导致宕机?
模拟模式会阻止规则拦截流量,但规则仍会在每个请求上进行评估。2019年7月2日世界标准时间13:31合并的跨站脚本规则处于模拟模式,因此它没有拦截任何内容,但它仍在每个请求上运行。Cloudflare的事后分析指出,评估该规则的开销耗尽了CPU。
一条规则是如何在两秒内到达所有Cloudflare数据中心的?
防火墙规则跳过了其他发布会经历的分阶段推出过程。根据事后分析,该程序允许任何规则立即全球上线,因为规则是为了阻止实时攻击而存在的。这条规则并非紧急情况,但Quicksilver仍然在大约两秒钟内将其推送到180多个城市,并且CI中没有CPU测试来捕获它。
为什么Cloudflare花了27分钟才关闭有故障的防火墙组件?
内部控制面板位于Cloudflare Access之后,而Cloudflare Access又位于Cloudflare之后,因此中断阻止了通往终止开关的路径。一些凭据因长期不用而过期,并且一个很少演练的绕过方法花费了大约五分钟。全球WAF终止操作在世界标准时间14:07执行,流量在14:09恢复正常。
在Cloudflare宕机事件之后,团队是否应该在请求路径代码中保留带有回溯的正则表达式引擎?
《每日要闻》(The Daily Diff)对Cloudflare的修复方案的结论是SHIP IT。CPU保护已恢复,3868条规则已重新审核,规则将通过分阶段推出,并且引擎将更改为具有线性时间保证的引擎。该事件的实用建议是避免在任何每个请求都运行的代码中使用点星点星之类的模式,并将终止开关与它控制的系统分开。
翻译的文字记录
译自英文原版旁白。可用音频和字幕由 YouTube 控制。
0:00 一个正则表达式同时在每个Cloudflare服务器上生效, 接下来的27分钟内,它后面的网站都显示502页面, 这对于一个防火墙来说,是可能的最严格的设置。 2019年7月2日,世界标准时间13:42。 Cloudflare在两小时内发布消息:不是攻击,而是错误的部署, 流量下降82%。 十天后,首席技术官John Graham-Cumming发布了完整的事后分析, 包括正则表达式,Hacker News给了它698分,
0:26 对于一次宕机来说,这简直是起立鼓掌。 它是如何发生的,为什么可能发生,以及谁应该为此负责。 这里是《每日要闻》(The Daily Diff),事后分析。 13:31。一个拉取请求合并:一条针对跨站脚本的新防火墙规则, 处于模拟模式,所以它不阻止任何内容。 13:37,测试通过;没有一个测试测量CPU。 13:42,该规则在两秒内发布到180个城市, 因为WAF规则跳过了其他发布所经历的dog、pig和canary阶段。
0:54 13:45,出现第一个页面故障。 13:49,Hacker News上出现了关于状态页面的讨论帖, 状态页面仍然显示所有系统运行正常。 该规则以点星、点星、等号、点星结尾:任何内容, 然后是任何内容,然后是一个等号。 PCRE贪婪地猜测,失败,然后回溯所有其他分割。 x等于x需要23步。 等号后面有二十个x:555步。
1:15 二十个x,没有等号:4067步什么也找不到。 在每个请求上运行这个,每个核心都将达到百分之百, 彻底地无所事事。 两个保护措施本应该捕获它。 数周前,在一次旨在让WAF使用更少CPU的重构中, CPU规则限制被意外移除。 而且该程序允许任何规则跳过暂存阶段,因为规则是为了阻止实时 攻击而存在的;这条规则并非紧急情况,但它仍然全球上线了。
1:37 14:00,WAF被识别;没有攻击。 14:02,有人提议全球终止:一个组件, 在全球范围内关闭。这个开关位于Cloudflare Access后面。 Cloudflare Access位于Cloudflare后面。 一些凭据因长期不用而过期,因此互联网上最快的网络花了五分钟时间来执行一个没有人演练过的绕过操作。 互联网上最快的网络花了五分钟来完成一个没有人演练过的绕过操作。 14:07,终止。14:09,流量恢复正常。 git blame:一个单速、全球发布的部署;一个被
2:04 意外重构掉的CPU保护;一个没有上限的正则表达式引擎。 不是编写规则的工程师的错:事后分析列出了十一个原因, 没有指明任何人。影响范围:27分钟,82%的流量, 每个核心、每个城市都达到100%的CPU使用率。 仪表板和API位于同一个边缘网络之后,因此客户甚至无法关闭它。 仪表板和API位于同一个边缘网络之后,因此客户甚至无法关闭它。 Hacker News在事后分析下方评论:他们有一个问题, 使用了正则表达式,现在他们有两个问题了。
2:28 老笑话。仍然有效。 事后分析的结论:SHIP IT。 CPU保护已恢复,所有3868条规则都经过人工审查, 规则经过分阶段发布,引擎改为具有线性时间 保证的引擎,该引擎由Ken Thompson于1968年发表。 星期一:在任何每个请求都运行的代码中避免使用点星点星, 并将终止开关与它控制的系统分开。 把你仍然不能谈论的事件发给我,
2:53 在评论区,或者发送到thedailydiff.dev。 这就是今天的区别。 我是Axrisi的Niko。
来源
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



