Satu regex melumpuhkan Cloudflare. 27 minit.
2 Julai 2019, 13:42 UTC: satu peraturan baharu untuk Cloudflare's Web Application Firewall disiarkan di 180+ bandar dalam kira-kira dua saat.
2 Julai 2019, 13:42 UTC: satu peraturan baharu untuk Cloudflare's Web Application Firewall disiarkan di 180+ bandar dalam kira-kira dua saat. Ia adalah peraturan XSS dalam mod simulasi, jadi ia tidak menyekat apa-apa, tetapi ia masih berjalan pada setiap permintaan, dan ia berakhir dengan .*(?:.*=.*). PCRE backtrack, setiap teras CPU yang menyalurkan hit HTTP mencapai 100 %, dan setiap tapak yang diproksikan oleh Cloudflare mengembalikan 502 selama 27 minit; trafik jatuh 82 %. Suis "kill switch" terletak di belakang Cloudflare Access, yang terletak di belakang Cloudflare. Postmortem, dari penulisan Cloudflare sendiri: "CPU guard" yang dikeluarkan beberapa minggu sebelumnya dalam "refactor" yang bertujuan untuk menjimatkan CPU, prosedur yang membenarkan sebarang peraturan melangkau "staging", enjin tanpa jaminan kerumitan, 11 punca dan 7 pembetulan. Keputusan untuk pembetulan: SHIP IT.
Baca edisi bertulis (Bahasa Inggeris) ↗
Apa yang diliputi video ini
- 13:31–13:42 UTC: PR digabungkan, CI hijau (tiada ujian CPU), Quicksilver menolak peraturan ke 180+ bandar; Peraturan WAF melangkau peringkat DOG → PIG → Canary
- 13:45–14:07: halaman pertama; CPU 100 % di seluruh dunia, trafik -82 %, 502 di mana-mana; panel kawalan dalaman terletak di belakang Cloudflare Access, yang tidak berfungsi; beberapa kelayakan telah tamat tempoh; pintasan yang jarang dilatih
- 14:07–14:09: penamatan WAF global; trafik dan CPU normal selepas 27 minit; 14:52 WAF kembali tanpa peraturan
- 2 Julai (15:50 UTC) dan 12 Julai: Cloudflare menerbitkan nota hari yang sama dan postmortem penuh; pelindung CPU ditambah semula, 3,868 peraturan dibaca semula, "staged rollouts", beralih kepada enjin regex masa linear
Soalan dan jawapan
Bagaimana satu ungkapan nalar boleh melumpuhkan rangkaian global?
Satu regex dengan "backtracking" tanpa had boleh mengunci setiap teras CPU yang menilainya. Menurut postmortem Cloudflare, peraturan tembok api baharu berakhir dengan .*(?:.*=.*), PCRE mengesan semula melalui setiap pemisahan lain, dan CPU mencapai 100 % pada setiap teras yang menyalurkan HTTP. Tapak di belakang Cloudflare mengembalikan ralat 502 selama 27 minit dan trafik jatuh 82 %.
Mengapa peraturan tembok api dalam mod simulasi masih menyebabkan gangguan?
Mod simulasi menghalang peraturan daripada menyekat trafik, tetapi peraturan itu masih dinilai pada setiap permintaan. Peraturan yang digabungkan pada 13:31 UTC pada 2 Julai 2019 adalah peraturan skrip silang tapak dalam mod simulasi, jadi ia tidak menyekat apa-apa, namun ia berjalan pada setiap permintaan. Postmortem Cloudflare menyatakan bahawa kos menilainya telah menghabiskan CPU.
Bagaimana satu peraturan sampai ke setiap pusat data Cloudflare dalam dua saat?
Peraturan tembok api melangkau "staged rollout" yang dilalui oleh keluaran lain. Menurut postmortem, prosedur itu membenarkan sebarang peraturan menjadi global sekaligus kerana peraturan wujud untuk menghentikan serangan langsung. Peraturan ini bukan kecemasan, dan Quicksilver tetap menolaknya ke 180+ bandar dalam kira-kira dua saat, tanpa ujian CPU dalam CI untuk menangkapnya.
Mengapa Cloudflare mengambil masa 27 minit untuk mematikan komponen tembok api yang rosak?
Panel kawalan dalaman terletak di belakang Cloudflare Access, yang terletak di belakang Cloudflare, jadi gangguan itu menghalang laluan ke suis bunuh. Beberapa kelayakan telah tamat tempoh akibat tidak digunakan, dan pintasan yang jarang dilatih mengambil masa kira-kira lima minit. Penamatan WAF global telah digunakan pada 14:07 UTC, dan trafik kembali normal pada 14:09.
Perlukah pasukan mengekalkan enjin regex dengan "backtracking" dalam kod laluan permintaan selepas gangguan Cloudflare?
Keputusan The Daily Diff adalah SHIP IT, untuk pembetulan Cloudflare. Pelindung CPU telah dipulihkan, 3,868 peraturan telah dibaca semula, peraturan melalui "staged rollouts", dan enjin beralih kepada yang mempunyai jaminan masa linear. Nasihat praktikal episod itu adalah untuk mengelakkan corak seperti titik-bintang titik-bintang dalam apa-apa yang berjalan pada setiap permintaan dan untuk memastikan suis bunuh berada di luar sistem yang dikawalnya.
Transkrip terjemahan
Diterjemahkan daripada penceritaan asal Bahasa Inggeris. Audio dan kapsyen yang tersedia dikawal oleh YouTube.
0:00 Satu ungkapan nalar mula beroperasi di setiap pelayan Cloudflare sekaligus, dan untuk dua puluh tujuh minit berikutnya tapak di belakangnya adalah halaman 502, yang, untuk tembok api, adalah tetapan paling ketat yang mungkin. 2 Julai 2019, 13:42 UTC. Cloudflare menyiarkan dalam masa dua jam: bukan serangan, tetapi "deploy" yang buruk, trafik turun 82 peratus. Sepuluh hari kemudian CTO John Graham-Cumming menerbitkan postmortem penuh, regex disertakan, dan Hacker News memberikannya 698 mata,
0:26 yang untuk satu gangguan adalah tepukan gemuruh. Bagaimana ia berlaku, mengapa ia mungkin, dan siapa sebenarnya yang dipersalahkan. Ini adalah The Daily Diff, postmortem. 13:31. Permintaan tarik digabungkan: satu peraturan tembok api baharu terhadap skrip silang tapak, dalam mod simulasi, jadi ia tidak menyekat apa-apa. 13:37, ujian lulus; tiada yang mengukur CPU. 13:42, peraturan dihantar ke 180 bandar dalam dua saat, kerana peraturan WAF melangkau peringkat anjing, babi dan kenari yang diterima oleh keluaran lain.
0:54 13:45, halaman pertama. 13:49, Hacker News mempunyai benang pada halaman status, yang masih menyatakan semua sistem beroperasi. Peraturan itu berakhir dengan titik-bintang, titik-bintang, sama dengan, titik-bintang: apa sahaja, kemudian apa sahaja, kemudian tanda sama dengan. PCRE meneka dengan rakus, gagal, dan mengesan semula melalui setiap pemisahan lain. x sama dengan x mengambil 23 langkah. Dua puluh x selepas sama dengan: 555.
1:15 Dua puluh x, tiada tanda sama dengan: 4,067 langkah untuk mencari apa-apa. Jalankan itu pada setiap permintaan dan setiap teras adalah pada seratus peratus, tidak melakukan apa-apa, dengan teliti. Dua pengawal sepatutnya menangkapnya. Had CPU pada peraturan telah dialih keluar secara tidak sengaja beberapa minggu sebelumnya, dalam "refactor" yang bertujuan untuk menjadikan WAF menggunakan kurang CPU. Dan prosedur itu membolehkan sebarang peraturan melangkau "staging", kerana peraturan wujud untuk menghentikan serangan langsung; yang ini bukan kecemasan, dan ia tetap menjadi global.
1:37 14:00, WAF dikenal pasti; tiada serangan. 14:02, seseorang mencadangkan penamatan global: satu komponen, dimatikan, di seluruh dunia. Suis terletak di belakang Cloudflare Access. Cloudflare Access terletak di belakang Cloudflare. Beberapa kelayakan telah tamat tempoh akibat tidak digunakan, jadi rangkaian terpantas di internet menghabiskan lima minit pada pintasan yang tidak pernah dilatih oleh sesiapa. 14:07, bunuh. 14:09, trafik normal. git blame: satu "rollout" dengan satu kelajuan, global; "CPU guard" difaktorkan semula oleh
2:04 kemalangan; enjin regex tanpa had atas. Bukan jurutera yang menulis peraturan: postmortem menyenaraikan sebelas punca dan tidak menamakan sesiapa. Jejari letupan: 27 minit, 82 peratus trafik, 100 peratus CPU pada setiap teras, di setiap bandar. Papan pemuka dan API terletak di belakang "edge" yang sama, jadi pelanggan tidak dapat mematikan ia. Hacker News, di bawah postmortem: mereka mempunyai satu masalah, menggunakan ungkapan nalar, kini mereka mempunyai dua. Jenaka lama. Masih boleh berfungsi.
2:28 Keputusan, postmortem: SHIP IT. Pelindung CPU telah kembali, kesemua 3,868 peraturan dibaca secara manual, peraturan melalui "staging", dan enjin beralih kepada yang mempunyai jaminan masa linear, diterbitkan oleh Ken Thompson pada tahun 1968. Isnin: tiada titik-bintang titik-bintang dalam apa-apa yang berjalan setiap permintaan, dan biarkan suis bunuh berada di luar benda yang dibunuhnya. Hantar saya insiden yang anda masih tidak dibenarkan bincangkan, dalam komen, atau di the daily diff dot dev.
2:53 Dan itu perbezaan untuk hari ini. Saya Niko dari Axrisi. Gabungkan dengan bertanggungjawab.
Sumber
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



