Bir regex Cloudflare'ı çökertti. 27 dakika.
2 Temmuz 2019, 13:42 UTC: Cloudflare'ın Web Uygulama Güvenlik Duvarı için yeni bir kural yaklaşık iki saniyede 180'den fazla şehirde yayına giriyor.
2 Temmuz 2019, 13:42 UTC: Cloudflare'ın Web Uygulama Güvenlik Duvarı için yeni bir kural yaklaşık iki saniyede 180'den fazla şehirde yayına giriyor. Simülasyon modunda bir XSS kuralıdır, bu yüzden hiçbir şeyi engellemez, ancak yine de her istekte çalışır ve .*(?:.*=.*) ile biter. PCRE geri izler, HTTP isteklerine hizmet veren her CPU çekirdeği %100'e ulaşır ve Cloudflare tarafından vekil sunucusu yapılan her site 27 dakika boyunca 502 döndürür; trafik %82 düşer. Kapatma anahtarı Cloudflare Access'in arkasında, o da Cloudflare'ın arkasında. Cloudflare'ın kendi yazısından postmortem: haftalar önce CPU tasarrufu amacıyla yapılan bir yeniden düzenlemede kaldırılan CPU koruması, herhangi bir kuralın aşamaları atlamasına izin veren prosedür, karmaşıklık garantisi olmayan motor, 11 neden ve 7 düzeltme. Düzeltme üzerindeki karar: SHIP IT.
Yazılı sürümü oku (İngilizce) ↗
Bu video neleri kapsar
- 13:31–13:42 UTC: PR birleştirildi, CI yeşil (CPU testi yok), Quicksilver kuralı 180'den fazla şehre gönderdi; WAF kuralları DOG → PIG → Canary aşamalarını atladı
- 13:45–14:07: ilk sayfa; dünya çapında CPU %100, trafik %-82, her yerde 502; dahili kontrol paneli Cloudflare Access'in arkasında, o da kapalı; bazı kimlik bilgileri süresi dolmuş; nadiren uygulanan bir atlatma
- 14:07–14:09: küresel WAF sonlandırma; 27 dakika sonra trafik ve CPU normal; 14:52 WAF kural eksik olarak geri döndü
- 2 Temmuz (15:50 UTC) ve 12 Temmuz: Cloudflare aynı gün notunu ve tam postmortem'i yayınladı; CPU koruması yeniden eklendi, 3.868 kural yeniden okundu, aşamalı yayınlar, doğrusal zamanlı bir regex motoruna geçiş
Sorular ve cevaplar
Tek bir normal ifade küresel bir ağı nasıl çökertir?
Sınırsız geri izlemeli bir regex, onu değerlendiren her CPU çekirdeğini kilitleyebilir. Cloudflare'ın postmortem'ine göre, yeni bir güvenlik duvarı kuralı .*(?:.*=.*) ile bitiyordu, PCRE diğer her bölmede geri izledi ve HTTP isteklerine hizmet veren her çekirdekte CPU %100'e ulaştı. Cloudflare'ın arkasındaki siteler 27 dakika boyunca 502 hatası döndürdü ve trafik %82 düştü.
Simülasyon modundaki bir güvenlik duvarı kuralı neden yine de bir kesintiye neden oldu?
Simülasyon modu, bir kuralın trafiği engellemesini durdurur, ancak kural yine de her istekte değerlendirilir. 2 Temmuz 2019, 13:31 UTC'de birleştirilen kural, simülasyon modunda bir siteler arası komut dosyası çalıştırma kuralıydı, bu yüzden hiçbir şeyi engellemedi, ancak yine de her istekte çalıştı. Cloudflare'ın postmortem'i, onu değerlendirmenin maliyetinin CPU'yu tükettiğini söylüyor.
Bir kural iki saniyede her Cloudflare veri merkezine nasıl ulaştı?
Güvenlik duvarı kuralları, diğer sürümlerin geçtiği aşamalı dağıtımı atladı. Postmortem'e göre, prosedür herhangi bir kuralın bir anda küresel olmasını sağladı, çünkü kurallar canlı saldırıları durdurmak için var. Bu kural acil bir durum değildi ve Quicksilver yine de yaklaşık iki saniyede 180'den fazla şehre gönderdi, CI'da bunu yakalayacak bir CPU testi yoktu.
Cloudflare'ın arızalı güvenlik duvarı bileşenini kapatması neden 27 dakika sürdü?
Dahili kontrol paneli Cloudflare Access'in arkasındaydı, o da Cloudflare'ın arkasındaydı, bu yüzden kesinti kapatma anahtarına giden yolu tıkadı. Bazı kimlik bilgileri kullanılmadığı için süresi dolmuştu ve nadiren uygulanan bir atlatma yaklaşık beş dakika sürdü. Küresel WAF sonlandırması 14:07 UTC'de uygulandı ve trafik 14:09'da tekrar normale döndü.
Ekipler Cloudflare kesintisinden sonra istek yolu kodunda geri izlemeli regex motorlarını tutmalı mı?
The Daily Diff'in kararı, Cloudflare'ın düzeltmesi için SHIP IT idi. CPU koruması geri yüklendi, 3.868 kural yeniden okundu, kurallar aşamalı dağıtımlardan geçiyor ve motor doğrusal zaman garantileri olan bir motora geçiyor. Bölümün pratik tavsiyesi, her istekte çalışan hiçbir şeyde nokta-yıldız nokta-yıldız gibi desenlerden kaçınmak ve kapatma anahtarını kontrol ettiği sistemden ayrı tutmaktır.
Çevrilmiş deşifre
Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.
0:00 Bir normal ifade, tüm Cloudflare sunucularında aynı anda yayına giriyor, ve sonraki yirmi yedi dakika boyunca arkasındaki siteler 502 sayfası gösteriyor, ki bu, bir güvenlik duvarı için mümkün olan en katı ayardır. 2 Temmuz 2019, 13:42 UTC. Cloudflare iki saat içinde bir açıklama yayınlıyor: bir saldırı değil, kötü bir dağıtım, trafik %82 düşüş gösteriyor. On gün sonra CTO John Graham-Cumming tam postmortem'i yayınlıyor, regex dahil, ve Hacker News buna 698 puan veriyor,
0:26 ki bu bir kesinti için ayakta alkışlanmaktır. Nasıl oluyor, neden mümkün ve suçlusu aslında kim. Bu, The Daily Diff, postmortem. 13:31. Bir çekme isteği birleştirilir: siteler arası komut dosyası çalıştırmaya karşı yeni bir güvenlik duvarı kuralı, simülasyon modunda, bu yüzden hiçbir şeyi engellemiyor. 13:37, testler geçer; hiçbiri CPU'yu ölçmez. 13:42, kural iki saniye içinde 180 şehre gönderilir, çünkü WAF kuralları diğer sürümlerin geçtiği köpek, domuz ve kanarya aşamalarını atlar.
0:54 13:45, ilk sayfa. 13:49, Hacker News'te durum sayfası hakkında bir başlık var, ki hala tüm sistemler çalışır durumda diyor. Kural yıldız-nokta, yıldız-nokta, eşittir, yıldız-nokta ile biter: herhangi bir şey, sonra herhangi bir şey, sonra bir eşittir işareti. PCRE açgözlülükle tahmin eder, başarısız olur ve diğer her bölmede geri izler. x eşittir x 23 adım sürer. Eşittir işaretinden sonra yirmi x: 555.
1:15 Yirmi x, eşittir işareti yok: hiçbir şey bulmak için 4.067 adım. Bunu her istekte çalıştırın ve her çekirdek yüzde yüz çalışır, hiçbir şey yapmaz, tamamen. İki koruma onu yakalamalıydı. Kurallardaki CPU limiti haftalar önce yanlışlıkla kaldırıldı, WAF'ın daha az CPU kullanmasını sağlamayı amaçlayan bir yeniden düzenlemede. Ve prosedür, herhangi bir kuralın aşamaları atlamasına izin veriyor, çünkü kurallar canlı saldırıları durdurmak için var; bu acil bir durum değildi ve yine de küresel çapta yayıldı.
1:37 14:00, WAF tespit edildi; saldırı yok. 14:02, biri küresel sonlandırmayı önerir: bir bileşen, kapalı, dünya çapında. Anahtar Cloudflare Access'in arkasında. Cloudflare Access, Cloudflare'ın arkasında. Bazı kimlik bilgileri kullanılmadığı için süresi dolmuş, bu yüzden internetteki en hızlı ağ, kimsenin denemediği bir atlatma için beş dakika harcıyor. 14:07, durdur. 14:09, trafik normal. git blame: tek hızlı bir dağıtım, küresel; yanlışlıkla kaldırılan bir CPU koruması;
2:04 üst sınırı olmayan bir regex motoru. Kuralı yazan mühendis değil: postmortem on bir neden listeler ve kimseyi adlandırmaz. Etki alanı: 27 dakika, trafiğin %82'si, her şehirde, her çekirdekte %100 CPU. Kontrol paneli ve API aynı kenarın arkasında oturuyor, bu yüzden müşteriler hatta kapatamıyor bile. Hacker News, postmortem'in altında: bir sorunları vardı, bir normal ifade kullandılar, şimdi iki sorunları var. Eski şaka. Hala derleniyor.
2:28 Karar, postmortem: SHIP IT. CPU koruması geri geldi, 3.868 kuralın hepsi elle okunuyor, kurallar aşamalı dağıtımlardan geçiyor ve motor doğrusal zaman garantileri olan bir motora geçiyor, Ken Thompson tarafından 1968'de yayınlandı. Pazartesi: her istekte çalışan hiçbir şeyde nokta-yıldız nokta-yıldız yok, ve kapatma anahtarını öldürdüğü şeyden ayrı tutun. Hala konuşmanıza izin verilmeyen olayı bana gönderin, yorumlar bölümünde veya dailydiff.dev adresinden.
2:53 Ve bugünün farkı bu. Ben Axrisi'den Niko. Sorumlulukla birleştirin.
Kaynaklar
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



