Regex Cloudflare-ni ishdan chiqardi. 27 daqiqa.
2019-yil 2-iyul, 13:42 UTC: Cloudflare’ning Web Application Firewall uchun bitta yangi qoida taxminan ikki soniyada 180+ shaharda ishga tushirildi.
2019-yil 2-iyul, 13:42 UTC: Cloudflare’ning Web Application Firewall uchun bitta yangi qoida taxminan ikki soniyada 180+ shaharda ishga tushirildi. Bu simulyatsiya rejimida ishlaydigan XSS qoidasi boʻlib, hech narsani bloklamaydi, lekin u har bir soʻrovda ishlaydi va .*(?:.*=.*) bilan tugaydi. PCRE qaytariladi, HTTP xizmatini koʻrsatuvchi har bir CPU yadrosi 100% ga yetadi va har bir Cloudflare-proksi xizmat koʻrsatuvchi sayt 27 daqiqa davomida 502 xatosini qaytaradi; trafik 82% ga tushadi. Oʻchirish tugmasi Cloudflare Access orqasida joylashgan boʻlib, u Cloudflare orqasida joylashgan. Cloudflare’ning oʻz hisobotidan keyingi tahlil: CPU tejash uchun bir necha hafta oldin refactor jarayonida olib tashlangan CPU himoyachisi, har qanday qoidaning sahnalashni oʻtkazib yuborishiga imkon beradigan protsedura, murakkablik kafolati boʻlmagan dvigatel, 11 ta sabab va 7 ta tuzatish. Tuzatish boʻyicha hukm: SHIP IT.
Yozma nashrini oʻqing (inglizcha) ↗
Bu video nimani qamrab oladi
- 13:31–13:42 UTC: PR birlashtirildi, CI yashil (CPU testi yoʻq), Quicksilver qoidani 180+ shaharga suradi; WAF qoidalari DOG → PIG → Canary bosqichlarini oʻtkazib yuboradi
- 13:45–14:07: birinchi sahifa; butun dunyo boʻylab CPU 100%, trafik -82%, hamma joyda 502 xatolar; ichki boshqaruv paneli Cloudflare Access orqasida, u ishlamayapti; baʼzi maʼlumotlar muddati tugagan; kamdan-kam qoʻllaniladigan chetlab oʻtish
- 14:07–14:09: global WAF toʻxtatildi; 27 daqiqadan soʻng trafik va CPU normal holatga keldi; 14:52 WAF qoidasiz qayta ishga tushdi
- 2-iyul (15:50 UTC) va 12-iyul: Cloudflare bir kunlik eslatmani va toʻliq postmortemni eʼlon qiladi; CPU himoyachisi qayta qoʻshildi, 3,868 qoida qayta oʻqildi, bosqichma-bosqich joylashtirishlar, chiziqli vaqtli regex dvigateliga oʻtish
Savollar va javoblar
Bitta oddiy ifoda global tarmoqni qanday ishdan chiqarishi mumkin?
Chegaralanmagan qaytarilishga ega regex uni baholaydigan har bir CPU yadrosini ushlab qolishi mumkin. Cloudflare'ning postmortemiga koʻra, yangi xavfsizlik devori qoidasi .*(?:.*=.*) bilan tugagan, PCRE har bir boshqa boʻlinish orqali qaytarilgan va HTTP xizmatini koʻrsatuvchi har bir yadroning CPUsi 100% ga yetgan. Cloudflare orqasidagi saytlar 27 daqiqa davomida 502 xatosini qaytargan va trafik 82% ga tushgan.
Simulyatsiya rejimida ishlaydigan xavfsizlik devori qoidasi nega uzilishga sabab boʻldi?
Simulyatsiya rejimi qoidaning trafikni bloklashini toʻxtatadi, lekin qoida har bir soʻrovda baholanadi. 2019-yil 2-iyul, 13:31 UTC da birlashtirilgan qoida simulyatsiya rejimida ishlaydigan saytlararo skripting qoidasi edi, shuning uchun u hech narsani bloklamadi, lekin u har bir soʻrovda ishga tushdi. Cloudflare'ning postmortemida aytilishicha, uni baholash narxi CPUni tugatgan.
Bitta qoida ikki soniyada har bir Cloudflare maʼlumotlar markaziga qanday yetib keldi?
Xavfsizlik devori qoidalari boshqa relizlar oʻtgan bosqichma-bosqich joylashtirishni oʻtkazib yubordi. Postmortemga koʻra, qoidalar jonli hujumlarni toʻxtatish uchun mavjud boʻlgani sababli, protsedura har qanday qoidaning bir vaqtning oʻzida global boʻlishiga imkon bergan. Bu qoida favqulodda holat emas edi va Quicksilver uni baribir taxminan ikki soniyada 180+ shaharga yubordi, uni ushlab qolish uchun CIda CPU testi yoʻq edi.
Cloudflare nosoz xavfsizlik devori komponentini oʻchirish uchun nega 27 daqiqa vaqt oldi?
Ichki boshqaruv paneli Cloudflare Access orqasida joylashgan boʻlib, u Cloudflare orqasida joylashgan edi, shuning uchun uzilish oʻchirish tugmasiga yoʻlni toʻsdi. Baʼzi maʼlumotlar foydalanilmaganligi sababli muddati tugagan edi va kamdan-kam qoʻllaniladigan chetlab oʻtish taxminan besh daqiqa vaqt oldi. Global WAF toʻxtatish 14:07 UTC da qoʻllanildi va trafik 14:09 da yana normal holatga keldi.
Cloudflare uzilishidan soʻng jamoalar qaytarilishga ega regex dvigatellarini soʻrov yoʻli kodida saqlashi kerakmi?
The Daily Diff'ning hukmi Cloudflare'ning tuzatishi uchun SHIP IT edi. CPU himoyachisi qayta tiklandi, 3,868 qoida qayta oʻqildi, qoidalar bosqichma-bosqich joylashtirishdan oʻtadi va dvigatel chiziqli vaqt kafolatlariga ega boʻlganiga oʻtadi. Epizodning amaliy maslahati shundan iboratki, har bir soʻrovda ishlaydigan narsada nuqta-yulduz nuqta-yulduz kabi naqshlardan qochish va oʻchirish tugmasini u nazorat qiladigan tizimdan uzoqroq tutish kerak.
Tarjima qilingan transkript
Asl inglizcha hikoyadan tarjima qilingan. Mavjud audio va subtitrlar YouTube tomonidan boshqariladi.
0:00 Bitta oddiy ifoda bir vaqtning oʻzida har bir Cloudflare serverida jonli ishga tushadi, va keyingi yigirma yetti daqiqa davomida uning orqasidagi saytlar 502 sahifasini koʻrsatadi, bu, xavfsizlik devori uchun, mumkin boʻlgan eng qattiq sozlama. 2019-yil 2-iyul, 13:42 UTC. Cloudflare ikki soat ichida eʼlon qiladi: hujum emas, yomon joylashtirish, trafik 82 foizga tushgan. Oʻn kun oʻtgach, texnik direktor Jon Graham-Cumming toʻliq postmortemni eʼlon qiladi, regex kiritilgan va Hacker News unga 698 ball beradi,
0:26 bu uzilish uchun tik turib olqishlash demakdir. Qanday sodir boʻladi, nima uchun mumkin va kim haqiqatan ham aybdor. Bu The Daily Diff, postmortem. 13:31. Pull soʻrovi birlashadi: saytlararo skriptlarga qarshi yangi xavfsizlik devori qoidasi, simulyatsiya rejimida, shuning uchun hech narsani bloklamaydi. 13:37, testlar oʻtdi; hech biri CPUni oʻlchamaydi. 13:42, qoida ikki soniyada 180 shaharga yuboriladi, chunki WAF qoidalari boshqa relizlar oladigan it, choʻchqa va kanareyka bosqichlarini oʻtkazib yuboradi.
0:54 13:45, birinchi sahifa. 13:49, Hacker Newsda status sahifasi haqida muhokama bor, u hali ham barcha tizimlar ishlayotganini aytadi. Qoida nuqta-yulduz, nuqta-yulduz, teng, nuqta-yulduz bilan tugaydi: har qanday narsa, keyin har qanday narsa, keyin tenglik belgisi. PCRE ochkoʻzlik bilan taxmin qiladi, muvaffaqiyatsizlikka uchraydi va har bir boshqa boʻlinish orqali qaytariladi. x teng x 23 qadamni oladi. Tenglikdan keyin yigirma x: 555.
1:15 Yigirma x, tenglik belgisi yoʻq: hech narsani topish uchun 4,067 qadam. Buni har bir soʻrovda bajaring va har bir yadro yuz foizda boʻladi, hech narsa qilmasdan, toʻliq. Ikki qoʻriqchi uni ushlab qolishi kerak edi. Qoidalar boʻyicha CPU limiti bir necha hafta oldin xato tufayli olib tashlangan edi, WAFni kamroq CPU ishlatishini taʼminlashga qaratilgan refaktorda. Va protsedura har qanday qoidaning sahnalashni oʻtkazib yuborishiga imkon beradi, chunki qoidalar jonli hujumlarni toʻxtatish uchun mavjud; bu favqulodda holat emas edi va u baribir butun dunyo boʻylab tarqaldi.
1:37 14:00, WAF aniqlandi; hujum yoʻq. 14:02, kimdir global toʻxtatishni taklif qiladi: bitta komponent, oʻchirilgan, butun dunyo boʻylab. Kalit Cloudflare Access orqasida. Cloudflare Access Cloudflare orqasida. Baʼzi maʼlumotlar foydalanilmaganligi sababli muddati tugagan, shuning uchun internetdagi eng tez tarmoq hech kim qoʻllamagan chetlab oʻtishga besh daqiqa sarflaydi. 14:07, oʻchirish. 14:09, trafik normal. git aybdor: bir tezlikda joylashtirish, global; tasodifan refaktor qilingan CPU himoyachisi;
2:04 yuqori chegarasi boʻlmagan regex dvigateli. Qoidani yozgan muhandis emas: postmortem oʻn bitta sababni sanab oʻtadi va hech kimni nomlamaydi. Portlash radiusi: 27 daqiqa, trafikning 82 foizi, har bir yadroning 100 foiz CPUsi, har bir shaharda. Boshqaruv paneli va API bir xil chetda joylashgan, shuning uchun mijozlar hatto uni oʻchira olmaydilar. Hacker News, postmortem ostida: ularda bitta muammo bor edi, muntazam ifoda ishlatishdi, endi ularda ikkita muammo bor. Eski hazil. Hali ham kompilyatsiya qilinadi.
2:28 Hukm, postmortem: SHIP IT. CPU himoyachisi qayta tiklandi, barcha 3,868 qoidalar qoʻlda oʻqildi, qoidalar bosqichma-bosqich joylashtirishdan oʻtadi va dvigatel Ken Thompson tomonidan 1968 yilda nashr etilgan chiziqli vaqt kafolatlariga ega boʻlganiga oʻtadi. Dushanba: har bir soʻrovda ishlaydigan narsada nuqta-yulduz nuqta-yulduz yoʻq, va oʻchirish tugmasini u oʻldiradigan narsadan uzoqroq tuting. Menga hali ham gapirishga ruxsat berilmagan hodisani yuboring, izohlarda yoki the daily diff dot dev manzilida.
2:53 Va bugungi farq shu. Men Axrisidan Nikoman. Masʼuliyat bilan birlashtiring.
Manbalar
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



