正規表現がCloudflareを停止させた。27分間。
2019年7月2日13:42 UTC:CloudflareのWeb Application Firewallの新しいルールが、約2秒で180以上の都市で公開された。
2019年7月2日13:42 UTC:CloudflareのWeb Application Firewallの新しいルールが、約2秒で180以上の都市で公開された。これはシミュレーションモードのXSSルールであり、何もブロックしないが、すべてのリクエストで実行され、".*(?:.*=.*)"で終わる。PCREはバックトラックし、HTTPを処理するすべてのCPUコアが100%になり、Cloudflareプロキシを介したすべてのサイトが27分間502を返し、トラフィックは82%減少した。キルスイッチはCloudflare Accessの背後にあり、Cloudflare AccessはCloudflareの背後にある。Cloudflare自身の報告書からの事後分析:数週間前にCPUを節約するためにリファクタリングで削除されたCPUガード、ステージングをスキップできる手順、複雑さの保証のないエンジン、11の原因と7つの修正。修正に関する評決:SHIP IT。
この動画の要点
- 13:31~13:42 UTC:PRがマージされ、CIはグリーン(CPUテストなし)、Quicksilverがルールを180以上の都市にプッシュ。WAFルールはDOG → PIG → Canaryのステージをスキップする
- 13:45~14:07:最初のページ。世界中でCPUが100%になり、トラフィックは82%減少し、あらゆる場所で502エラーが発生。内部制御パネルはCloudflare Accessの背後にあり、それがダウンしている。一部の認証情報が期限切れになっている。めったに訓練されないバイパス
- 14:07~14:09:グローバルWAFを終了。27分後にトラフィックとCPUが正常に戻る。14:52にWAFはルールなしで復旧
- 7月2日(15:50 UTC)と7月12日:Cloudflareは同日中にメモと完全な事後分析を公開。CPUガードを再追加、3,868のルールを再確認、段階的な展開、線形時間正規表現エンジンへの移行
質疑応答
1つの正規表現がグローバルネットワークを停止させるのはなぜですか?
無制限のバックトラックを持つ正規表現は、それを評価するすべてのCPUコアを拘束する可能性があります。Cloudflareの事後分析によると、新しいファイアウォールルールは".*(?:.*=.*)"で終わり、PCREは他のすべての分割をバックトラックし、HTTPを処理するすべてのコアでCPUが100%に達しました。Cloudflareの背後にあるサイトは27分間502エラーを返し、トラフィックは82%減少しました。
シミュレーションモードのファイアウォールルールがなぜ障害を引き起こしたのですか?
シミュレーションモードはルールがトラフィックをブロックするのを停止しますが、ルールはすべてのリクエストで評価され続けます。2019年7月2日13:31 UTCにマージされたルールは、シミュレーションモードのクロスサイトスクリプティングルールであったため、何もブロックしませんでしたが、すべてのリクエストで実行されました。Cloudflareの事後分析によると、その評価コストがCPUを使い果たしました。
1つのルールが2秒でCloudflareのすべてのデータセンターに到達したのはなぜですか?
ファイアウォールルールは、他のリリースが通過する段階的なロールアウトをスキップしました。事後分析によると、ルールはライブ攻撃を阻止するために存在するため、この手順によりどのルールも一度にグローバルに展開できました。このルールは緊急事態ではありませんでしたが、Quicksilverはそれでも約2秒で180以上の都市にそれをプッシュし、それを捕らえるCIでのCPUテストはありませんでした。
Cloudflareが故障したファイアウォールコンポーネントを停止させるのに27分かかったのはなぜですか?
内部制御パネルはCloudflare Accessの背後にあり、Cloudflare AccessはCloudflareの背後にあったため、障害がキルスイッチへの道を塞ぎました。一部の認証情報は未使用のために期限切れになっており、めったに訓練されないバイパスに約5分かかりました。グローバルWAFの終了は14:07 UTCに適用され、トラフィックは14:09には再び正常になりました。
Cloudflareの停止後、チームはリクエストパスコードでバックトラック付きの正規表現エンジンを使い続けるべきですか?
The Daily Diffの評決は、Cloudflareの修正に対してSHIP ITでした。CPUガードは復元され、3,868のルールが再確認され、ルールは段階的なロールアウトを経て展開され、エンジンは線形時間保証のあるものに移行しました。このエピソードの実用的なアドバイスは、すべてのリクエストで実行されるものにドットスター・ドットスターのようなパターンを避けることと、キルスイッチをそれが制御するシステムとは別の場所に置くことです。
翻訳されたトランスクリプト
オリジナルの英語ナレーションから翻訳されています。利用可能なオーディオとキャプションはYouTubeによって管理されています。
0:00 1つの正規表現が、すべてのCloudflareサーバーで一斉に公開され、 その後の27分間、その背後にあるサイトは502ページとなり、 これは、ファイアウォールにとって可能な限り最も厳しい設定です。 2019年7月2日、13:42 UTC。 Cloudflareは2時間以内に投稿:攻撃ではなく、誤ったデプロイであり、 トラフィックは82パーセント減少しました。 10日後、CTOのジョン・グラハム=カミングが完全な事後分析を公開し、 正規表現も含まれ、Hacker Newsでは698ポイントを獲得しました。
0:26 これは障害としてはスタンディングオベーションに値します。 どのように発生し、なぜ可能だったのか、そして実際に誰が非難されるのか。 これはThe Daily Diff、事後分析です。 13:31。プルリクエストがマージされます。新しいファイアウォールルールはクロスサイト スクリプティングに対して、シミュレーションモードで、何もブロックしません。 13:37、テストは合格します。CPUを測定するものはありません。 13:42、ルールは2秒で180都市に出荷されます。 WAFルールは、他のリリースが通過するdog、pig、canaryのステージをスキップするためです。
0:54 13:45、最初のページが表示されます。 13:49、Hacker Newsにステータスページに関するスレッドが立ちます。 まだすべてのシステムが稼働中と表示されています。 ルールはドットスター、ドットスター、イコール、ドットスターで終わります。つまり、何でも、 それから何でも、それから等号です。 PCREは貪欲に推測し、失敗し、他のすべての分割をバックトラックします。 xイコールxは23ステップかかります。 イコールの後に20個のxがある場合:555ステップ。
1:15 20個のxがあり、等号がない場合:何も見つけるのに4,067ステップ。 それをすべてのリクエストとすべてのコアで実行すると、すべてのコアが100パーセントになります。 徹底的に何もせずに。 2つのガードがそれを捕らえるべきでした。 ルールに対するCPU制限は、数週間前に誤って削除されました。 WAFのCPU使用量を減らすためのリファクタリングで。 そして、この手順では、ルールはライブ攻撃を阻止するために存在するため、どのルールもステージングをスキップできます。 これは緊急事態ではありませんでしたが、それでも世界中に展開されました。
1:37 14:00、WAFが特定されます。攻撃ではありません。 14:02、誰かがグローバル終了を提案します。1つのコンポーネントを、 世界中でオフにします。スイッチはCloudflare Accessの背後にあります。 Cloudflare AccessはCloudflareの背後にあります。 一部の認証情報は未使用のために期限切れになっていたため、インターネット上で最速のネットワークが、 誰も訓練しなかったバイパスに5分を費やしました。 14:07、終了。14:09、トラフィックは正常に戻りました。 git blame:単一速度、グローバル展開。偶発的にリファクタリングで削除されたCPUガード。
2:04 上限のない正規表現エンジン。 ルールを書いたエンジニアではありません。事後分析には11の原因が挙げられ、 誰も名前を挙げられていません。被害範囲:27分、トラフィックの82パーセント、 すべての都市のすべてのコアでCPUが100パーセント。 ダッシュボードとAPIは同じエッジの背後にあるため、顧客はそれをオフにすることさえできません。 事後分析のHacker Newsのコメント:彼らは1つの問題を抱えていました。 正規表現を使用し、今では2つの問題を抱えています。 古いジョーク。まだコンパイルされます。
2:28 評決、事後分析:SHIP IT。 CPUガードが復活し、3,868のすべてのルールが手動で再確認され、 ルールはステージングを経て展開され、エンジンはKen Thompsonが1968年に公開した線形時間 保証のあるものに移行します。 月曜日:リクエストごとに実行されるものにドットスター・ドットスターは使用しないこと。 そして、キルスイッチをそれが停止させるものとは別の場所に置くこと。 まだ話すことを許されていないインシデントを、 コメント欄またはthedailydiff.devまでお寄せください。
2:53 そして、今日のdiffはこれで終わりです。 AxrisiのNikoでした。 責任を持ってマージしてください。
情報源
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



