Regex batek Cloudflare jaitsi zuen. 27 minutu.
2019ko uztailaren 2an, 13:42 UTC: Cloudflare-ren Web Application Firewall-erako arau berri bat zuzenean jartzen da 180+ hiritan bi segundotan.
2019ko uztailaren 2an, 13:42 UTC: Cloudflare-ren Web Application Firewall-erako arau berri bat zuzenean jartzen da 180+ hiritan bi segundotan. XSS arau bat da simulazio moduan, beraz ez du ezer blokeatzen, baina eskaera bakoitzean exekutatzen da, eta .*(?:.*=.*) gisa amaitzen da. PCRE atzera egiten du, HTTP eskaerak zerbitzatzen dituen CPU nukleo bakoitzak %100era iristen da, eta Cloudflare-k proxyatutako gune bakoitzak 502 errore itzultzen du 27 minutuz; trafikoa %82 jaisten da. Hiltzeko etengailua Cloudflare Access-en atzean dago, eta hori Cloudflare-ren atzean. Postmortem, Cloudflare-ren idazketa propioaren arabera: CPU babeslea aste batzuk lehenago kendu zen CPU aurrezteko helburuarekin egindako berregituraketan, edozein arauk etaparatzea saltatzeko aukera ematen zuen prozedura, konplexutasun bermerik gabeko motorra, 11 kausak eta 7 konponbideak. Konponbidearen epaia: SHIP IT.
Irakurri idatzizko edizioa (ingelesez) ↗
Bideo honek zer jorratzen duen
- 13:31–13:42 UTC: PR batu da, CI berdea (CPU probarik gabe), Quicksilver-ek araua 180+ hirietara bultzatzen du; WAF arauek DOG → PIG → Canary etapak saltatzen dituzte
- 13:45–14:07: lehen orria; CPU %100 mundu osoan, trafikoa %-82, 502ak nonahi; barne kontrol panela Cloudflare Access-en atzean dago, eta hori behera dago; kredentzial batzuk iraungitu dira; gutxitan landutako saihesbide bat
- 14:07–14:09: WAF globala amaitu; trafikoa eta CPU normal 27 minutu igaro ondoren; 14:52 WAF atzera araua kenduta
- Uztailak 2 (15:50 UTC) eta uztailak 12: Cloudflare-k egun bereko oharra eta postmortem osoa argitaratzen ditu; CPU babeslea berriro gehitu da, 3.868 arau berriro irakurri dira, faseka hedatzeak, denbora linealeko regex motor batera aldatu
Galderak eta erantzunak
Nola kendu dezake adierazpen erregular bakar batek sare global bat?
Atzera-egite mugagabea duen regex batek ebaluatzen duen CPU nukleo bakoitza blokeatu dezake. Cloudflare-ren postmortemaren arabera, suebaki arau berri bat .*(?:.*=.*) gisa amaitu zen, PCRE-k beste banaketa guztietatik atzera egin zuen, eta CPUa %100era iritsi zen HTTP eskaerak zerbitzatzen zituen nukleo bakoitzean. Cloudflare-ren atzean zeuden guneek 502 errore itzuli zituzten 27 minutuz eta trafikoa %82 jaitsi zen.
Zergatik sortu zuen etenaldi bat simulazio moduan zegoen suebaki arau batek?
Simulazio moduak arau bati trafikoa blokeatzea galarazten dio, baina araua eskaera bakoitzean ebaluatzen da oraindik. 2019ko uztailaren 2an, 13:31 UTC-an batutako araua gune arteko scripting arau bat zen simulazio moduan, beraz ez zuen ezer blokeatu, baina eskaera bakoitzean exekutatu zen. Cloudflare-ren postmortemak dio hura ebaluatzearen kostuak CPUa agortu zuela.
Nola iritsi zen arau bakar bat Cloudflare-ren datu zentro guztietara bi segundotan?
Suebaki arauek beste bertsio batzuek pasatzen zituzten faseka hedatzeak saltatu zituzten. Postmortemaren arabera, prozedurak edozein arau batera globalizatzeko aukera ematen zuen, arauak zuzeneko erasoak geldiarazteko existitzen direlako. Arau hau ez zen larrialdi bat, eta Quicksilver-ek hala ere 180+ hirietara bultzatu zuen bi segundotan, CI-n CPU probarik gabe hura harrapatzeko.
Zergatik behar izan zituen Cloudflare-k 27 minutu akatsa zuen suebaki osagaia itzaltzeko?
Barne kontrol panela Cloudflare Access-en atzean zegoen, eta hori Cloudflare-ren atzean, beraz, etenaldiak hiltzeko etengailurako bidea blokeatu zuen. Kredentzial batzuk iraungitu ziren erabili ez zirelako, eta gutxitan landutako saihesbide batek bost minutu inguru behar izan zituen. WAF globala 14:07 UTC-an aplikatu zen, eta trafikoa normala zen berriro 14:09an.
Taldeek atzera-egitea duten regex motorrak mantendu beharko lituzkete eskaera-bideko kodean Cloudflare-ren etenaldiaren ondoren?
The Daily Diff-en epaia SHIP IT izan zen, Cloudflare-ren konponbiderako. CPU babeslea berrezarri zen, 3.868 arau berriro irakurri ziren, arauak faseka hedatze prozesu batetik pasatzen dira, eta motorra denbora linealeko bermeak dituen batera pasatzen da. Pasartearen aholku praktikoa da puntu-izar puntu-izar bezalako patroiak saihestea eskaera bakoitzean exekutatzen den ezerretan eta hiltzeko etengailua kontrolatzen duen sistematik kanpo mantentzea.
Itzulitako transkripzioa
Jatorrizko ingelesezko narraziotik itzulia. Eskuragarri dauden audioa eta azpitituluak YouTube-k kontrolatzen ditu.
0:00 Erregular adierazpen bat zuzenean jartzen da Cloudflare zerbitzari guztietan batera, eta hurrengo hogeita zazpi minutuetan haren atzean dauden guneak 502 orri bat dira, eta hori, suebaki baterako, ahalik eta ezarpen zorrotzena da. 2019ko uztailaren 2a, 13:42 UTC. Cloudflare-k bi ordu barru argitaratzen du: ez da eraso bat, hedatze txar bat, trafikoa %82 jaitsi da. Hamar egun geroago John Graham-Cumming CTOk postmortem osoa argitaratzen du, regex barne, eta Hacker News-ek 698 puntu ematen dizkio,
0:26 eta hori, etenaldi baterako, zutikako txalo zaparrada bat da. Nola gertatzen den, zergatik den posible, eta nor den benetan errua. Hau da The Daily Diff, postmortem. 13:31. Pull request bat batu da: webgune arteko scripting-aren aurkako suebaki arau berri bat, simulazio moduan, beraz ez du ezer blokeatzen. 13:37an, probak gainditu dira; batek ere ez du CPUa neurtzen. 13:42an, araua 180 hirietara bidali da bi segundotan, WAF arauek beste bertsio batzuek lortzen dituzten txakur, txerri eta kanario etapak saltatzen dituztelako.
0:54 13:45ean, lehen orria. 13:49an, Hacker News-ek hari bat du egoera orrian, eta oraindik ere sistema guztiak funtzionamenduan daudela dio. Arauak puntu-izar, puntu-izar, berdin, puntu-izar gisa amaitzen du: edozer, gero edozer, gero berdin zeinu bat. PCRE-k zekenki asmatzen du, huts egiten du eta beste banaketa guztietatik atzera egiten du. x berdin x-k 23 urrats hartzen ditu. Hogeita bost x berdinaren ondoren: 555.
1:15 Hogeita bost x, berdin zeinurik gabe: 4.067 urrats ezer aurkitzeko. Exekutatu hori eskaera bakoitzean eta nukleo bakoitza ehuneko ehunean egongo da, ezer egin gabe, ondo. Bi zaintzailek harrapatu beharko zuketen. Arauen CPU muga ustekabean kendu zen aste batzuk lehenago, WAFek CPU gutxiago erabiltzea helburu zuen berregituraketa batean. Eta prozedurak edozein arauk etaparatzea saltatzeko aukera ematen du, arauak zuzeneko erasoak geldiarazteko existitzen direlako; hau ez zen larrialdi bat, eta hala ere globala bihurtu zen.
1:37 14:00etan, WAFa identifikatu da; ez da erasorik. 14:02an, norbaitek amaiera globala proposatzen du: osagai bat, desaktibatuta, mundu osoan. Etengailua Cloudflare Access-en atzean dago. Cloudflare Access Cloudflare-ren atzean dago. Kredentzial batzuk iraungitu dira erabili ez direlako, beraz, interneteko sare azkarrenak bost minutu ematen ditu inork ezagutzen ez duen saihesbide batean. 14:07an, hil. 14:09an, trafikoa normal. git blame: hedapen bat abiadura bakarrarekin, globala; CPU babesle bat ustekabean berregituratu da;
2:04 goiko mugarik gabeko regex motor bat. Ez araua idatzi zuen ingeniaria: postmortemak hamaika kausa zerrendatzen ditu eta inori ez dio izenik ematen. Leherketa-erradioa: 27 minutu, trafikoaren %82, CPUaren %100 nukleo bakoitzean, hiri guztietan. Agintaritzako panela eta APIa ertz beraren atzean daude, beraz bezeroek ezin dute itzali ere egin. Hacker News, postmortemaren azpian: arazo bat zuten, adierazpen erregular bat erabili zuten, orain bi dituzte. Txantxa zaharra. Oraindik konpilatzen du.
2:28 Epaia, postmortem: SHIP IT. CPU babeslea berriro jarri da, 3.868 arau guztiak eskuz irakurri dira, arauak etaparatze prozesu batetik pasatzen dira, eta motorra denbora linealeko bermeak dituen batera pasatzen da, Ken Thompson-ek 1968an argitaratutakoa. Astelehena: ez puntu-izar puntu-izar eskaera bakoitzeko exekutatzen den ezerretan, eta utzi hiltzeko etengailua hiltzen duen sistematik kanpo. Bidali ezin duzun gertaera bat, iruzkinetan, edo daily diff dot dev helbidera.
2:53 Eta hori da gaurko diff-a. Niko naiz, Axrisikoa. Batu arduraz.
Iturriak
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



