+− THE DAILY DIFFdev & AI news
SHIP IT

正規表現がCloudflareを停止させた。27分間。

2019年7月2日13:42 UTC:CloudflareのWeb Application Firewallの新しいルールが、約2秒で180以上の都市で公開された。

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2019年7月2日13:42 UTC:CloudflareのWeb Application Firewallの新しいルールが、約2秒で180以上の都市で公開された。これはシミュレーションモードのXSSルールであり、何もブロックしないが、すべてのリクエストで実行され、".*(?:.*=.*)"で終わる。PCREはバックトラックし、HTTPを処理するすべてのCPUコアが100%になり、Cloudflareプロキシを介したすべてのサイトが27分間502を返し、トラフィックは82%減少した。キルスイッチはCloudflare Accessの背後にあり、Cloudflare AccessはCloudflareの背後にある。Cloudflare自身の報告書からの事後分析:数週間前にCPUを節約するためにリファクタリングで削除されたCPUガード、ステージングをスキップできる手順、複雑さの保証のないエンジン、11の原因と7つの修正。修正に関する評決:SHIP IT。

書面版を読む(英語) ↗

この動画の要点

  • 13:31~13:42 UTC:PRがマージされ、CIはグリーン(CPUテストなし)、Quicksilverがルールを180以上の都市にプッシュ。WAFルールはDOG → PIG → Canaryのステージをスキップする
  • 13:45~14:07:最初のページ。世界中でCPUが100%になり、トラフィックは82%減少し、あらゆる場所で502エラーが発生。内部制御パネルはCloudflare Accessの背後にあり、それがダウンしている。一部の認証情報が期限切れになっている。めったに訓練されないバイパス
  • 14:07~14:09:グローバルWAFを終了。27分後にトラフィックとCPUが正常に戻る。14:52にWAFはルールなしで復旧
  • 7月2日(15:50 UTC)と7月12日:Cloudflareは同日中にメモと完全な事後分析を公開。CPUガードを再追加、3,868のルールを再確認、段階的な展開、線形時間正規表現エンジンへの移行

質疑応答

1つの正規表現がグローバルネットワークを停止させるのはなぜですか?

無制限のバックトラックを持つ正規表現は、それを評価するすべてのCPUコアを拘束する可能性があります。Cloudflareの事後分析によると、新しいファイアウォールルールは".*(?:.*=.*)"で終わり、PCREは他のすべての分割をバックトラックし、HTTPを処理するすべてのコアでCPUが100%に達しました。Cloudflareの背後にあるサイトは27分間502エラーを返し、トラフィックは82%減少しました。

blog.cloudflare.com · blog.cloudflare.com

シミュレーションモードのファイアウォールルールがなぜ障害を引き起こしたのですか?

シミュレーションモードはルールがトラフィックをブロックするのを停止しますが、ルールはすべてのリクエストで評価され続けます。2019年7月2日13:31 UTCにマージされたルールは、シミュレーションモードのクロスサイトスクリプティングルールであったため、何もブロックしませんでしたが、すべてのリクエストで実行されました。Cloudflareの事後分析によると、その評価コストがCPUを使い果たしました。

blog.cloudflare.com

1つのルールが2秒でCloudflareのすべてのデータセンターに到達したのはなぜですか?

ファイアウォールルールは、他のリリースが通過する段階的なロールアウトをスキップしました。事後分析によると、ルールはライブ攻撃を阻止するために存在するため、この手順によりどのルールも一度にグローバルに展開できました。このルールは緊急事態ではありませんでしたが、Quicksilverはそれでも約2秒で180以上の都市にそれをプッシュし、それを捕らえるCIでのCPUテストはありませんでした。

blog.cloudflare.com · blog.cloudflare.com

Cloudflareが故障したファイアウォールコンポーネントを停止させるのに27分かかったのはなぜですか?

内部制御パネルはCloudflare Accessの背後にあり、Cloudflare AccessはCloudflareの背後にあったため、障害がキルスイッチへの道を塞ぎました。一部の認証情報は未使用のために期限切れになっており、めったに訓練されないバイパスに約5分かかりました。グローバルWAFの終了は14:07 UTCに適用され、トラフィックは14:09には再び正常になりました。

blog.cloudflare.com · x.com

Cloudflareの停止後、チームはリクエストパスコードでバックトラック付きの正規表現エンジンを使い続けるべきですか?

The Daily Diffの評決は、Cloudflareの修正に対してSHIP ITでした。CPUガードは復元され、3,868のルールが再確認され、ルールは段階的なロールアウトを経て展開され、エンジンは線形時間保証のあるものに移行しました。このエピソードの実用的なアドバイスは、すべてのリクエストで実行されるものにドットスター・ドットスターのようなパターンを避けることと、キルスイッチをそれが制御するシステムとは別の場所に置くことです。

blog.cloudflare.com

翻訳されたトランスクリプト

オリジナルの英語ナレーションから翻訳されています。利用可能なオーディオとキャプションはYouTubeによって管理されています。

0:00 1つの正規表現が、すべてのCloudflareサーバーで一斉に公開され、 その後の27分間、その背後にあるサイトは502ページとなり、 これは、ファイアウォールにとって可能な限り最も厳しい設定です。 2019年7月2日、13:42 UTC。 Cloudflareは2時間以内に投稿:攻撃ではなく、誤ったデプロイであり、 トラフィックは82パーセント減少しました。 10日後、CTOのジョン・グラハム=カミングが完全な事後分析を公開し、 正規表現も含まれ、Hacker Newsでは698ポイントを獲得しました。

0:26 これは障害としてはスタンディングオベーションに値します。 どのように発生し、なぜ可能だったのか、そして実際に誰が非難されるのか。 これはThe Daily Diff、事後分析です。 13:31。プルリクエストがマージされます。新しいファイアウォールルールはクロスサイト スクリプティングに対して、シミュレーションモードで、何もブロックしません。 13:37、テストは合格します。CPUを測定するものはありません。 13:42、ルールは2秒で180都市に出荷されます。 WAFルールは、他のリリースが通過するdog、pig、canaryのステージをスキップするためです。

0:54 13:45、最初のページが表示されます。 13:49、Hacker Newsにステータスページに関するスレッドが立ちます。 まだすべてのシステムが稼働中と表示されています。 ルールはドットスター、ドットスター、イコール、ドットスターで終わります。つまり、何でも、 それから何でも、それから等号です。 PCREは貪欲に推測し、失敗し、他のすべての分割をバックトラックします。 xイコールxは23ステップかかります。 イコールの後に20個のxがある場合:555ステップ。

1:15 20個のxがあり、等号がない場合:何も見つけるのに4,067ステップ。 それをすべてのリクエストとすべてのコアで実行すると、すべてのコアが100パーセントになります。 徹底的に何もせずに。 2つのガードがそれを捕らえるべきでした。 ルールに対するCPU制限は、数週間前に誤って削除されました。 WAFのCPU使用量を減らすためのリファクタリングで。 そして、この手順では、ルールはライブ攻撃を阻止するために存在するため、どのルールもステージングをスキップできます。 これは緊急事態ではありませんでしたが、それでも世界中に展開されました。

1:37 14:00、WAFが特定されます。攻撃ではありません。 14:02、誰かがグローバル終了を提案します。1つのコンポーネントを、 世界中でオフにします。スイッチはCloudflare Accessの背後にあります。 Cloudflare AccessはCloudflareの背後にあります。 一部の認証情報は未使用のために期限切れになっていたため、インターネット上で最速のネットワークが、 誰も訓練しなかったバイパスに5分を費やしました。 14:07、終了。14:09、トラフィックは正常に戻りました。 git blame:単一速度、グローバル展開。偶発的にリファクタリングで削除されたCPUガード。

2:04 上限のない正規表現エンジン。 ルールを書いたエンジニアではありません。事後分析には11の原因が挙げられ、 誰も名前を挙げられていません。被害範囲:27分、トラフィックの82パーセント、 すべての都市のすべてのコアでCPUが100パーセント。 ダッシュボードとAPIは同じエッジの背後にあるため、顧客はそれをオフにすることさえできません。 事後分析のHacker Newsのコメント:彼らは1つの問題を抱えていました。 正規表現を使用し、今では2つの問題を抱えています。 古いジョーク。まだコンパイルされます。

2:28 評決、事後分析:SHIP IT。 CPUガードが復活し、3,868のすべてのルールが手動で再確認され、 ルールはステージングを経て展開され、エンジンはKen Thompsonが1968年に公開した線形時間 保証のあるものに移行します。 月曜日:リクエストごとに実行されるものにドットスター・ドットスターは使用しないこと。 そして、キルスイッチをそれが停止させるものとは別の場所に置くこと。 まだ話すことを許されていないインシデントを、 コメント欄またはthedailydiff.devまでお寄せください。

2:53 そして、今日のdiffはこれで終わりです。 AxrisiのNikoでした。 責任を持ってマージしてください。

情報源

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

関連動画

postmortem · ja · 2026/09/19

Google Cloudが空白フィールドでクラッシュ。3時間。

空白のフィールドを含むポリシ行がヌルポインタにヒットし、Google Cloudはすべてのリージョンで一度にクラッシュしました。その後、Cloudflareもダウンしました。2025年6月12日、17:49 UTC: すべてのGoogle Cloud APIリクエストを承認するバイナリであるService Controlが、「意図しない空白フィールド」を含むクォータポリシの変更を読み込み、2週間前

2:57 ↗
postmortem · ja · 2026/09/16

Facebookがインターネットから消滅。6時間。

Facebookはインターネットから自社のアドレスを削除し、エンジニアがそれを元に戻しに到着しても、バッジリーダーもダウンしていました。なぜなら、それらはFacebook上で動作していたからです。2021年10月4日、15:40 UTC:日常的なバックボーンメンテナンスコマンドが、Facebookのデータセンター間のすべてのリンクをダウンさせました。それをブロックするために構築された監査ツールには

3:01 ↗
postmortem · ja · 2026/09/25

1ミリ秒のバグで英国の航空交通が6時間停止

9月8日火曜日の午前10時、NATSの国家空域システム(NAS)内で通常のスコークコード要求が、値の更新途中に優先度の高いメッセージによって中断された。露出ウィンドウは約1ミリ秒。要求は誤ったまま再開され、フライトデータが破損し、午後7時30分までに2,000便以上の英国発着便が遅延、欠航、または目的地変更となった。

3:06 ↗
postmortem · ja · 2026/09/22

再起動でテルストラは2006年に逆戻り。900万台の電話が影響。

メルボルンのエンジニアが午前2時50分にタイミングシャーシの電源を入れ直したところ、朝食の時間までにはオーストラリア最大のモバイルネットワークが「今は2006年11月である」と認識する事態に。2026年7月8日、テルストラのNTPシャーシ内のGPSカードが電源修理中に再起動し、ファームウェアにはGPS週数ロールオーバーのアップデートが一度も適用されていなかったため、古いエポックを選択し、1,024

3:15 ↗