+− THE DAILY DIFFdev & AI news
SHIP IT

Wyrażenie regularne wyłączyło Cloudflare. 27 minut.

2 lipca 2019, 13:42 UTC: jedna nowa reguła dla zapory sieciowej Cloudflare (Web Application Firewall) zostaje uruchomiona w ponad 180 miastach w około dwie sekundy.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 lipca 2019, 13:42 UTC: jedna nowa reguła dla zapory sieciowej Cloudflare (Web Application Firewall) zostaje uruchomiona w ponad 180 miastach w około dwie sekundy. Jest to reguła XSS w trybie symulacji, więc niczego nie blokuje, ale nadal działa przy każdym żądaniu i kończy się na .*(?:.*=.*). PCRE cofa się, każdy rdzeń procesora obsługujący żądania HTTP osiąga 100%, a każda witryna z proxy Cloudflare zwraca błąd 502 przez 27 minut; ruch spada o 82%. Wyłącznik awaryjny znajduje się za Cloudflare Access, który z kolei znajduje się za Cloudflare. Pośmiertna analiza, z własnego opisu Cloudflare: osłona CPU usunięta tygodnie wcześniej w refaktoryzacji mającej na celu oszczędność CPU, procedura, która pozwalała każdej regule pominąć etapowanie, silnik bez gwarancji złożoności, 11 przyczyn i 7 poprawek. Werdykt w sprawie poprawki: SHIP IT.

Przeczytaj wydanie pisemne (angielski) ↗

Co obejmuje ten film

  • 13:31–13:42 UTC: PR scalone, CI zielone (brak testu CPU), Quicksilver wypycha regułę do ponad 180 miast; reguły WAF pomijają etapy DOG → PIG → Canary
  • 13:45–14:07: pierwsza strona; CPU 100% na całym świecie, ruch −82%, wszędzie błędy 502; wewnętrzny panel sterowania znajduje się za Cloudflare Access, który jest niedostępny; niektóre poświadczenia wygasły; rzadko ćwiczony bypass
  • 14:07–14:09: globalne wyłączenie WAF; ruch i CPU normalne po 27 minutach; 14:52 WAF wraca bez reguły
  • 2 lipca (15:50 UTC) i 12 lipca: Cloudflare publikuje notatkę z tego samego dnia i pełną analizę pośmiertną; osłona CPU ponownie dodana, 3 868 reguł ponownie odczytanych, stopniowe wdrażanie, przejście na silnik wyrażeń regularnych o liniowej złożoności czasowej

Pytania i odpowiedzi

Jak pojedyncze wyrażenie regularne może wyłączyć globalną sieć?

Wyrażenie regularne z nieograniczonym cofaniem może obciążyć każdy rdzeń procesora, który je ocenia. Zgodnie z analizą pośmiertną Cloudflare, nowa reguła zapory sieciowej kończyła się na .*(?:.*=.*), PCRE cofało się przez każdy inny podział, a CPU osiągnęło 100% na każdym rdzeniu obsługującym HTTP. Strony za Cloudflare zwracały błędy 502 przez 27 minut, a ruch spadł o 82%.

blog.cloudflare.com · blog.cloudflare.com

Dlaczego reguła zapory sieciowej w trybie symulacji nadal powodowała awarię?

Tryb symulacji uniemożliwia regule blokowanie ruchu, ale reguła jest nadal oceniana przy każdym żądaniu. Reguła scalona 2 lipca 2019 r. o godzinie 13:31 UTC była regułą cross-site scripting w trybie symulacji, więc niczego nie blokowała, ale działała przy każdym żądaniu. Analiza pośmiertna Cloudflare mówi, że koszt jej oceny wyczerpał CPU.

blog.cloudflare.com

Jak jedna reguła dotarła do każdego centrum danych Cloudflare w dwie sekundy?

Reguły zapory sieciowej pomijały etapowe wdrożenie, przez które przechodziły inne wydania. Zgodnie z analizą pośmiertną, procedura pozwalała każdej regule działać globalnie od razu, ponieważ reguły istnieją, aby powstrzymywać rzeczywiste ataki. Ta reguła nie była nagłym przypadkiem, a Quicksilver i tak wypchnął ją do ponad 180 miast w około dwie sekundy, bez testu CPU w CI, który by ją wykrył.

blog.cloudflare.com · blog.cloudflare.com

Dlaczego wyłączenie wadliwego komponentu zapory sieciowej zajęło Cloudflare 27 minut?

Wewnętrzny panel sterowania znajdował się za Cloudflare Access, który znajdował się za Cloudflare, więc awaria zablokowała drogę do wyłącznika awaryjnego. Niektóre poświadczenia wygasły z powodu nieużywania, a rzadko ćwiczony bypass zajął około pięciu minut. Globalne wyłączenie WAF zastosowano o godzinie 14:07 UTC, a ruch wrócił do normy o 14:09.

blog.cloudflare.com · x.com

Czy zespoły powinny zachować silniki wyrażeń regularnych z cofaniem w kodzie ścieżki żądań po awarii Cloudflare?

Werdykt The Daily Diff brzmiał SHIP IT, dla poprawki Cloudflare. Osłona CPU została przywrócona, 3868 reguł zostało ponownie odczytanych, reguły przechodzą przez etapowe wdrożenia, a silnik przechodzi na ten z liniowymi gwarancjami czasowymi. Praktyczna rada z tego epizodu to unikanie wzorców takich jak kropka-gwiazdka kropka-gwiazdka w czymkolwiek, co działa na każde żądanie, oraz trzymanie wyłącznika awaryjnego z dala od systemu, który kontroluje.

blog.cloudflare.com

Przetłumaczona transkrypcja

Przetłumaczono z oryginalnej narracji angielskiej. Dostępne audio i napisy są kontrolowane przez YouTube.

0:00 Jedno wyrażenie regularne zostaje uruchomione jednocześnie na każdym serwerze Cloudflare, a przez następne dwadzieścia siedem minut strony za nim wyświetlają stronę 502, co, jak na zaporę, jest najbardziej rygorystycznym możliwym ustawieniem. 2 lipca 2019 roku, 13:42 UTC. Cloudflare publikuje w ciągu dwóch godzin: nie atak, lecz złe wdrożenie, ruch spadł o 82 procent. Dziesięć dni później CTO John Graham-Cumming publikuje pełną analizę pośmiertną, w tym wyrażenie regularne, a Hacker News przyznaje jej 698 punktów,

0:26 co w przypadku awarii jest owacją na stojąco. Jak to się dzieje, dlaczego jest to możliwe i kto tak naprawdę ponosi winę. To jest The Daily Diff, analiza pośmiertna. 13:31. Żądanie pull request zostaje scalone: jedna nowa reguła zapory sieciowej przeciwko cross-site scripting, w trybie symulacji, więc niczego nie blokuje. 13:37, testy przechodzą; żaden nie mierzy CPU. 13:42, reguła trafia do 180 miast w dwie sekundy, ponieważ reguły WAF pomijają etapy dog, pig i canary, które otrzymują inne wydania.

0:54 13:45, pierwsza strona. 13:49, Hacker News ma wątek na temat strony statusowej, która nadal mówi, że wszystkie systemy działają. Reguła kończy się kropka-gwiazdka, kropka-gwiazdka, równa się, kropka-gwiazdka: cokolwiek, potem cokolwiek, potem znak równości. PCRE zgaduje chciwie, zawodzi i cofa się przez każdy inny podział. x równa się x zajmuje 23 kroki. Dwadzieścia x-ów po znaku równości: 555.

1:15 Dwadzieścia x-ów, bez znaku równości: 4 067 kroków, aby nic nie znaleźć. Uruchom to na każdym żądaniu, a każdy rdzeń będzie na stu procentach, robiąc nic, dokładnie. Dwie osłony powinny to były złapać. Limit CPU dla reguł został usunięty przez pomyłkę tygodnie wcześniej, w refaktoryzacji mającej na celu zmniejszenie zużycia CPU przez WAF. A procedura pozwala każdej regule pominąć etapowanie, ponieważ reguły istnieją, aby powstrzymywać rzeczywiste ataki; ta nie była nagłym przypadkiem, a i tak poszła globalnie.

1:37 14:00, WAF zostaje zidentyfikowany; brak ataku. 14:02, ktoś proponuje globalne wyłączenie: jeden komponent, wyłączony, na całym świecie. Przełącznik znajduje się za Cloudflare Access. Cloudflare Access znajduje się za Cloudflare. Niektóre poświadczenia wygasły z powodu nieużywania, więc najszybsza sieć w internecie spędza pięć minut na omijaniu, którego nikt nie ćwiczył. 14:07, wyłącz. 14:09, ruch normalny. git blame: wdrożenie z jedną prędkością, globalne; osłona CPU refaktoryzowana przez

2:04 przypadek; silnik wyrażeń regularnych bez górnej granicy. Nie inżynier, który napisał regułę: analiza pośmiertna wymienia jedenaście przyczyn i nie wymienia nikogo. Obszar rażenia: 27 minut, 82 procent ruchu, 100 procent CPU na każdym rdzeniu, w każdym mieście. Panel kontrolny i API znajdują się za tą samą krawędzią, więc klienci nie mogą nawet wyłączyć tego. Hacker News, pod analizą pośmiertną: mieli jeden problem, użyli wyrażenia regularnego, teraz mają dwa. Stary dowcip. Nadal się kompiluje.

2:28 Werdykt, analiza pośmiertna: SHIP IT. Osłona CPU wróciła, wszystkie 3 868 reguł zostają przeczytane ręcznie, reguły przechodzą przez etapowanie, a silnik przechodzi na ten z liniowymi gwarancjami czasowymi, opublikowany przez Kena Thompsona w 1968 roku. Poniedziałek: brak kropka-gwiazdka kropka-gwiazdka w czymkolwiek, co działa na żądanie, i trzymaj wyłącznik awaryjny z dala od tego, co zabija. Wyślij mi incydent, o którym nadal nie możesz mówić, w komentarzach, lub na the daily diff dot dev.

2:53 I to jest diff na dziś. Jestem Niko z Axrisi. Scalaj odpowiedzialnie.

Źródła

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Powiązane filmy