Bir requlyar ifadə Cloudflare-i çökdürdü. 27 dəqiqə.
2 iyul 2019, 13:42 UTC: Cloudflare-in Veb Tətbiq Divarı üçün yeni bir qayda təxminən iki saniyə ərzində 180-dən çox şəhərdə işə düşür.
2 iyul 2019, 13:42 UTC: Cloudflare-in Veb Tətbiq Divarı üçün yeni bir qayda təxminən iki saniyə ərzində 180-dən çox şəhərdə işə düşür. Bu, simulyasiya rejimində bir XSS qaydasıdır, buna görə heç nəyi bloklamır, lakin hər sorğuda işləyir və .*(?:.*=.*) ilə bitir. PCRE geri izləyir, HTTP-yə xidmət edən hər CPU nüvəsi 100% yükə çatır və Cloudflare-ə bağlı hər sayt 27 dəqiqə ərzində 502 qaytarır; trafik 82% azalır. Bağlama açarı Cloudflare-in arxasında yerləşən Cloudflare Access-in arxasında yerləşir. Cloudflare-in öz yazısından alınan "Postmortem": CPU-ya qənaət etmək məqsədi daşıyan yenidənqurma zamanı həftələr əvvəl çıxarılan CPU mühafizəsi, hər hansı bir qaydaya sınaq mərhələsini keçməyə imkan verən prosedur, mürəkkəblik zəmanəti olmayan mühərrik, 11 səbəb və 7 düzəliş. Düzəlişə dair qərar: SHIP IT.
Yazılı nəşri oxuyun (İngiliscə) ↗
Bu videoda nələr əhatə olunur
- 13:31–13:42 UTC: PR birləşdirildi, CI yaşıl (CPU testi yoxdur), Quicksilver qaydanı 180-dən çox şəhərə ötürür; WAF qaydaları DOG → PIG → Canary mərhələlərini keçir
- 13:45–14:07: ilk səhifə; dünya üzrə CPU 100%, trafik -82%, hər yerdə 502-lər; daxili idarəetmə paneli Cloudflare Access-in arxasındadır, o da işləmir; bəzi etimadnamələr müddəti bitib; nadir hallarda istifadə olunan bir keçid
- 14:07–14:09: qlobal WAF dayandırıldı; 27 dəqiqədən sonra trafik və CPU normal; 14:52 WAF qayda çıxarıldıqdan sonra işə düşdü
- 2 iyul (15:50 UTC) və 12 iyul: Cloudflare eyni gün qeydini və tam postmortemini dərc edir; CPU mühafizəsi yenidən əlavə edildi, 3,868 qayda yenidən oxundu, mərhələli yayılmalar, xətti zamanlı requlyar ifadə mühərrikinə keçid
Suallar və cavablar
Tək bir requlyar ifadə qlobal şəbəkəni necə çökdürə bilər?
Hədsiz geri izləməyə malik bir requlyar ifadə, onu qiymətləndirən hər CPU nüvəsini yükləyə bilər. Cloudflare-in postmortem hesabatına görə, yeni bir təhlükəsizlik divarı qaydası .*(?:.*=.*) ilə bitirdi, PCRE hər digər bölünmə üzərindən geri izlədi və HTTP-yə xidmət edən hər nüvədə CPU 100%-ə çatdı. Cloudflare-in arxasında olan saytlar 27 dəqiqə ərzində 502 xətası qaytardı və trafik 82% azaldı.
Simulyasiya rejimində olan bir təhlükəsizlik divarı qaydası niyə hələ də kəsilməyə səbəb oldu?
Simulyasiya rejimi qaydanın trafiki bloklamasını dayandırır, lakin qayda hər sorğuda hələ də qiymətləndirilir. 2 iyul 2019-cu ildə saat 13:31 UTC-də birləşdirilən qayda simulyasiya rejimində bir saytlararası skript qaydası idi, buna görə heç nəyi bloklamırdı, lakin hər sorğuda işləyirdi. Cloudflare-in postmortem hesabatında qeyd olunur ki, onu qiymətləndirmə xərcləri CPU-nu tükəndirdi.
Bir qayda iki saniyə ərzində bütün Cloudflare məlumat mərkəzlərinə necə çatdı?
Təhlükəsizlik divarı qaydaları digər buraxılışların keçdiyi mərhələli yayılmaları atladı. Postmortem hesabatına görə, prosedur hər hansı bir qaydaya bir anda qlobal səviyyədə işə düşməyə imkan verirdi, çünki qaydalar canlı hücumları dayandırmaq üçün mövcuddur. Bu qayda təcili hal deyildi və Quicksilver onu təxminən iki saniyə ərzində 180-dən çox şəhərə göndərdi, CI-də onu tutmaq üçün CPU testi yox idi.
Cloudflare-in nasaz təhlükəsizlik divarı komponentini söndürməsi niyə 27 dəqiqə çəkdi?
Daxili idarəetmə paneli Cloudflare-in arxasında yerləşən Cloudflare Access-in arxasında idi, buna görə kəsilmə bağlama açarına gedən yolu blokladı. Bəzi etimadnamələr istifadə edilmədən müddəti bitmişdi və nadir hallarda istifadə olunan bir keçid təxminən beş dəqiqə çəkdi. Qlobal WAF dayandırılması 14:07 UTC-də tətbiq edildi və trafik 14:09-da yenidən normal idi.
Komandalar Cloudflare kəsilməsindən sonra tələb yolunda requlyar ifadə mühərriklərini geri izləməklə saxlamalıdırmı?
The Daily Diff-in qərarı, Cloudflare-in düzəlişi üçün SHIP IT idi. CPU mühafizəsi bərpa edildi, 3,868 qayda yenidən oxundu, qaydalar mərhələli yayılmalardan keçir və mühərrik xətti zamanlı zəmanətlərə malik bir mühərrikə keçir. Bu hadisənin praktiki məsləhəti, hər sorğuda işləyən hər hansı bir şeydə nöqtə-ulduz nöqtə-ulduz kimi nümunələrdən qaçınmaq və bağlama açarını idarə etdiyi sistemdən kənarda saxlamaqdır.
Tərcümə olunmuş transkript
Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.
0:00 Bir requlyar ifadə bütün Cloudflare serverlərində eyni anda işə düşür, və növbəti iyirmi yeddi dəqiqə ərzində onun arxasındakı saytlar 502 səhifəsi olur, bu da bir təhlükəsizlik divarı üçün mümkün olan ən sərt parametisdir. 2 iyul 2019-cu il, saat 13:42 UTC. Cloudflare iki saat ərzində yerləşdirir: hücum deyil, səhv yerləşdirmədir, trafik 82 faiz azalıb. On gün sonra CTO Con Qrehem-Kumminq tam postmortemini dərc edir, requlyar ifadə də daxil olmaqla, və Hacker News ona 698 bal verir,
0:26 bu da bir kəsinti üçün ayaqda alqışdır. Necə baş verir, niyə mümkündür və əslində kim günahkardır. Bu The Daily Diff, postmortemdir. 13:31. Bir pull request birləşdirilir: saytlararası skriptlərə qarşı yeni bir təhlükəsizlik divarı qaydası, simulyasiya rejimində, buna görə heç nəyi bloklamır. 13:37, testlər keçir; heç biri CPU-nu ölçmür. 13:42, qayda iki saniyə ərzində 180 şəhərə göndərilir, çünki WAF qaydaları digər buraxılışların keçdiyi it, donuz və kanarya mərhələlərini atlayır.
0:54 13:45, ilk səhifə. 13:49, Hacker News status səhifəsi haqqında bir mövzuya malikdir, hansı ki, hələ də bütün sistemlər işləkdir deyir. Qayda nöqtə-ulduz, nöqtə-ulduz, bərabərdir, nöqtə-ulduz ilə bitir: hər şey, sonra hər şey, sonra bərabər işarəsi. PCRE acgözcəsinə təxmin edir, uğursuz olur və hər digər bölünmə üzərindən geri izləyir. x bərabərdir x 23 addım tələb edir. Bərabərdir işarəsindən sonra iyirmi x: 555.
1:15 İyirmi x, bərabər işarəsi yoxdur: heç nə tapmaq üçün 4,067 addım. Bunu hər sorğuda işlədin və hər nüvə yüz faizdədir, heç nə etməyərək, tamamilə. İki mühafizə bunu tutmalı idi. Qaydalara tətbiq edilən CPU limiti səhvlə həftələr əvvəl çıxarılmışdı, WAF-ın daha az CPU istifadə etməsi üçün nəzərdə tutulmuş bir yenidənqurma zamanı. Və prosedur hər hansı bir qaydaya sınaq mərhələsini keçməyə imkan verir, çünki qaydalar canlı hücumları dayandırmaq üçün mövcuddur; bu, təcili hal deyildi və yenə də qlobal səviyyəyə çıxdı.
1:37 14:00, WAF müəyyən edilir; hücum yoxdur. 14:02, kimsə qlobal dayandırmağı təklif edir: bir komponent, qlobal olaraq söndürülür. Açar Cloudflare Access-in arxasındadır. Cloudflare Access Cloudflare-in arxasındadır. Bəzi etimadnamələr istifadə edilmədən müddəti bitib, beləliklə internetdəki ən sürətli şəbəkə heç kimin məşq etmədiyi bir keçid üzərində beş dəqiqə sərf edir. 14:07, öldür. 14:09, trafik normaldır. git blame: bir sürətli yayım, qlobal; təsadüfən yenidən qurulmuş bir CPU mühafizəsi;
2:04 yuxarı sərhədi olmayan bir requlyar ifadə mühərriki. Qaydanı yazan mühəndis deyil: postmortem on bir səbəbi sadalayır və heç kimin adını çəkmir. Zərər radiusu: 27 dəqiqə, trafikin 82 faizi, hər nüvədə, hər şəhərdə 100 faiz CPU. İdarəetmə paneli və API eyni kənarın arxasında yerləşir, beləliklə müştərilər hətta onu söndürə bilmirlər. Hacker News, postmortem altında: onların bir problemi var idi, bir requlyar ifadə istifadə etdilər, indi iki problemi var. Köhnə zarafat. Hələ də tərtib olunur.
2:28 Qərar, postmortem: SHIP IT. CPU mühafizəsi bərpa edildi, bütün 3,868 qayda əllə oxunur, qaydalar mərhələli yayılmalardan keçir və mühərrik 1968-ci ildə Ken Thompson tərəfindən nəşr olunan xətti zamanlı zəmanətlərə malik bir mühərrikə keçir. Bazar ertəsi: hər sorğu üzrə işləyən heç bir şeydə nöqtə-ulduz nöqtə-ulduz yoxdur, və bağlama açarını öldürdüyü şeydən kənarda saxlayın. Mənə hələ də danışmağa icazə verilməyən hadisəni göndərin, şərhlərdə və ya daily diff dot dev ünvanında.
2:53 Və bu gün üçün fərq budur. Mən Axrisidən Nikoyam. Məsuliyyətlə birləşdirin.
Mənbələr
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



