Sebuah regex menjatuhkan Cloudflare. 27 menit.
2 Juli 2019, 13:42 UTC: satu aturan baru untuk Web Application Firewall Cloudflare tayang di lebih dari 180 kota dalam sekitar dua detik.
2 Juli 2019, 13:42 UTC: satu aturan baru untuk Web Application Firewall Cloudflare tayang di lebih dari 180 kota dalam sekitar dua detik. Itu adalah aturan XSS dalam mode simulasi, jadi tidak ada yang diblokir, tetapi masih berjalan di setiap permintaan, dan diakhiri dengan .*(?:.*=.*). PCRE mundur, setiap inti CPU yang melayani permintaan HTTP mencapai 100%, dan setiap situs yang di-proxy Cloudflare mengembalikan 502 selama 27 menit; lalu lintas turun 82%. Saklar pemutus berada di belakang Cloudflare Access, yang berada di belakang Cloudflare. Postmortem, dari tulisan Cloudflare sendiri: "CPU guard" yang dihapus beberapa minggu sebelumnya dalam refaktor yang dimaksudkan untuk menghemat CPU, prosedur yang memungkinkan aturan apa pun melewati "staging", "engine" tanpa jaminan kompleksitas, 11 penyebab, dan 7 perbaikan. Putusan untuk perbaikan: SHIP IT.
Baca edisi tertulis (Inggris) ↗
Isi video ini
- 13:31–13:42 UTC: PR digabungkan, CI hijau (tanpa tes CPU), Quicksilver mendorong aturan ke lebih dari 180 kota; aturan WAF melewati tahap DOG → PIG → Canary
- 13:45–14:07: halaman pertama; CPU 100% di seluruh dunia, lalu lintas -82%, 502 di mana-mana; panel kontrol internal berada di belakang Cloudflare Access, yang tidak berfungsi; beberapa kredensial telah kedaluwarsa; "bypass" yang jarang dilatih
- 14:07–14:09: penghentian WAF global; lalu lintas dan CPU normal setelah 27 menit; 14:52 WAF kembali tanpa aturan
- 2 Juli (15:50 UTC) dan 12 Juli: Cloudflare menerbitkan catatan hari yang sama dan "postmortem" lengkap; "CPU guard" ditambahkan kembali, 3.868 aturan dibaca ulang, peluncuran bertahap, beralih ke "regex engine" waktu linier
Pertanyaan dan jawaban
Bagaimana satu ekspresi reguler dapat menjatuhkan jaringan global?
Sebuah regex dengan "backtracking" tak terbatas dapat membebani setiap inti CPU yang mengevaluasinya. Menurut "postmortem" Cloudflare, aturan firewall baru berakhir dengan .*(?:.*=.*), PCRE mundur melalui setiap pemisahan lainnya, dan CPU mencapai 100% pada setiap inti yang melayani HTTP. Situs di belakang Cloudflare mengembalikan kesalahan 502 selama 27 menit dan lalu lintas turun 82%.
Mengapa aturan firewall dalam mode simulasi masih menyebabkan pemadaman?
Mode simulasi menghentikan aturan dari memblokir lalu lintas, tetapi aturan masih dievaluasi pada setiap permintaan. Aturan yang digabungkan pada 13:31 UTC pada 2 Juli 2019 adalah aturan "cross-site scripting" dalam mode simulasi, jadi tidak ada yang diblokir, namun berjalan pada setiap permintaan. "Postmortem" Cloudflare mengatakan biaya evaluasinya menghabiskan CPU.
Bagaimana satu aturan mencapai setiap pusat data Cloudflare dalam dua detik?
Aturan firewall melewati "staged rollout" yang dilewati rilis lain. Menurut "postmortem", prosedur tersebut memungkinkan aturan apa pun untuk mendunia sekaligus karena aturan ada untuk menghentikan serangan langsung. Aturan ini bukan keadaan darurat, dan Quicksilver tetap mendorongnya ke lebih dari 180 kota dalam sekitar dua detik, tanpa tes CPU di CI untuk menangkapnya.
Mengapa Cloudflare membutuhkan waktu 27 menit untuk mematikan komponen firewall yang rusak?
Panel kontrol internal berada di belakang Cloudflare Access, yang berada di belakang Cloudflare, sehingga pemadaman memblokir jalan ke saklar pemutus. Beberapa kredensial telah kedaluwarsa karena tidak digunakan, dan "bypass" yang jarang dilatih membutuhkan waktu sekitar lima menit. Penghentian WAF global diterapkan pada 14:07 UTC, dan lalu lintas kembali normal pada 14:09.
Haruskah tim mempertahankan "regex engine" dengan "backtracking" dalam kode "request-path" setelah pemadaman Cloudflare?
Putusan The Daily Diff adalah SHIP IT, untuk perbaikan Cloudflare. "CPU guard" dipulihkan, 3.868 aturan dibaca ulang, aturan melewati "staged rollout", dan "engine" beralih ke yang dengan jaminan waktu linier. Saran praktis episode ini adalah untuk menghindari pola seperti "dot-star dot-star" dalam apa pun yang berjalan pada setiap permintaan dan untuk menjaga agar "kill switch" tidak menyala pada sistem yang dikendalikannya.
Transkrip terjemahan
Diterjemahkan dari narasi asli bahasa Inggris. Audio dan teks tersedia yang dikontrol oleh YouTube.
0:00 Satu ekspresi reguler tayang di setiap server Cloudflare sekaligus, dan selama dua puluh tujuh menit berikutnya situs-situs di belakangnya adalah halaman 502, yang, untuk firewall, adalah pengaturan yang paling ketat. 2 Juli 2019, 13:42 UTC. Cloudflare memposting dalam waktu dua jam: bukan serangan, penerapan yang buruk, lalu lintas turun 82 persen. Sepuluh hari kemudian CTO John Graham-Cumming menerbitkan postmortem lengkap, regex disertakan, dan Hacker News memberinya 698 poin,
0:26 yang untuk pemadaman adalah "standing ovation". Bagaimana itu terjadi, mengapa itu mungkin, dan siapa sebenarnya yang disalahkan. Ini adalah The Daily Diff, postmortem. 13:31. Permintaan penarikan digabungkan: satu aturan firewall baru terhadap "cross-site" scripting, dalam mode simulasi, jadi tidak ada yang diblokir. 13:37, tes lolos; tidak ada yang mengukur CPU. 13:42, aturan dikirim ke 180 kota dalam dua detik, karena aturan WAF melewati tahap "dog", "pig", dan "canary" yang didapatkan rilis lain.
0:54 13:45, halaman pertama. 13:49, Hacker News memiliki utas di halaman status, yang masih menyatakan semua sistem beroperasi. Aturan berakhir dengan "dot-star, dot-star, equals, dot-star": apa pun, lalu apa pun, lalu tanda sama dengan. PCRE menebak dengan rakus, gagal, dan mundur melalui setiap pemisahan lainnya. x sama dengan x membutuhkan 23 langkah. Dua puluh x setelah sama dengan: 555.
1:15 Dua puluh x, tidak ada tanda sama dengan: 4.067 langkah untuk tidak menemukan apa pun. Jalankan itu pada setiap permintaan dan setiap inti berada pada seratus persen, tidak melakukan apa-apa, secara menyeluruh. Dua penjaga seharusnya menangkapnya. Batas CPU pada aturan dihapus secara tidak sengaja beberapa minggu sebelumnya, dalam refaktor yang dimaksudkan untuk membuat WAF menggunakan lebih sedikit CPU. Dan prosedur tersebut memungkinkan aturan apa pun melewati "staging", karena aturan ada untuk menghentikan serangan langsung; yang satu ini bukan keadaan darurat, dan tetap saja mendunia.
1:37 14:00, WAF diidentifikasi; bukan serangan. 14:02, seseorang mengusulkan penghentian global: satu komponen, mati, di seluruh dunia. Saklar berada di belakang Cloudflare Access. Cloudflare Access berada di belakang Cloudflare. Beberapa kredensial telah kedaluwarsa karena tidak digunakan, jadi jaringan tercepat di internet menghabiskan lima menit untuk "bypass" yang tidak pernah dilatih siapa pun. 14:07, matikan. 14:09, lalu lintas normal. git blame: peluncuran dengan satu kecepatan, global; "CPU guard" direfaktor secara
2:04 tidak sengaja; "regex engine" tanpa batas atas. Bukan insinyur yang menulis aturan: postmortem mencantumkan sebelas penyebab dan tidak menyebutkan nama siapa pun. Radius ledakan: 27 menit, 82 persen lalu lintas, 100 persen CPU pada setiap inti, di setiap kota. Dasbor dan API berada di belakang "edge" yang sama, sehingga pelanggan bahkan tidak dapat mematikannya. Hacker News, di bawah postmortem: mereka punya satu masalah, menggunakan ekspresi reguler, sekarang mereka punya dua. Lelucon lama. Masih berlaku.
2:28 Putusan, postmortem: SHIP IT. "CPU guard" telah kembali, semua 3.868 aturan dibaca secara manual, aturan melewati "staging", dan "engine" beralih ke yang dengan jaminan waktu linier, diterbitkan oleh Ken Thompson pada tahun 1968. Senin: tidak ada "dot-star dot-star" dalam apa pun yang berjalan per permintaan, dan jaga agar "kill switch" tidak menyala pada hal yang dimatikannya. Kirimkan insiden yang masih tidak boleh Anda bicarakan kepada saya, di komentar, atau di the daily diff dot dev.
2:53 Dan itu "diff" untuk hari ini. Saya Niko dari Axrisi. Gabungkan dengan bertanggung jawab.
Sumber
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



