+− THE DAILY DIFFdev & AI news
SHIP IT

ఒక రెగ్యులర్ ఎక్స్‌ప్రెషన్ క్లౌడ్‌ఫ్లేర్‌ను డౌన్ చేసింది. 27 నిమిషాలు.

జూలై 2, 2019, 13:42 UTC: క్లౌడ్‌ఫ్లేర్ వెబ్ అప్లికేషన్ ఫైర్‌వాల్ కోసం ఒక కొత్త నియమం 180+ నగరాల్లో సుమారు రెండు సెకన్లలో ప్రత్యక్షమవుతుంది.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

జూలై 2, 2019, 13:42 UTC: క్లౌడ్‌ఫ్లేర్ వెబ్ అప్లికేషన్ ఫైర్‌వాల్ కోసం ఒక కొత్త నియమం 180+ నగరాల్లో సుమారు రెండు సెకన్లలో ప్రత్యక్షమవుతుంది. ఇది సిమ్యులేట్ మోడ్‌లో ఒక XSS నియమం, కాబట్టి ఇది దేనినీ నిరోధించదు, కానీ ఇది ఇప్పటికీ ప్రతి అభ్యర్థనపై రన్ అవుతుంది, మరియు ఇది .*(?:.*=.*) తో ముగుస్తుంది. PCRE వెనక్కి వెళ్తుంది, HTTPని అందిస్తున్న ప్రతి CPU కోర్ 100 %కి చేరుకుంటుంది, మరియు ప్రతి క్లౌడ్‌ఫ్లేర్ ప్రాక్సీ చేయబడిన సైట్ 27 నిమిషాల పాటు 502ను తిరిగి ఇస్తుంది; ట్రాఫిక్ 82 % తగ్గుతుంది. కిల్‌ స్విచ్ క్లౌడ్‌ఫ్లేర్ యాక్సెస్ వెనుక ఉంది, ఇది క్లౌడ్‌ఫ్లేర్ వెనుక ఉంది. పోస్ట్‌మార్టమ్, క్లౌడ్‌ఫ్లేర్ స్వంత వ్రాతపూర్వక నివేదిక నుండి: CPUని ఆదా చేయడానికి ఉద్దేశించిన ఒక రీఫాక్టర్‌లో వారాల ముందు తీసివేయబడిన CPU గార్డ్, ఏదైనా నియమాన్ని స్టేజింగ్‌ను దాటవేయడానికి అనుమతించిన విధానం, సంక్లిష్టత హామీ లేని ఇంజిన్, 11 కారణాలు మరియు 7 పరిష్కారాలు. పరిష్కారంపై తీర్పు: SHIP IT.

వ్రాతపూర్వక సంచికను చదవండి (ఇంగ్లీష్) ↗

ఈ వీడియో ఏమి కవర్ చేస్తుంది

  • 13:31–13:42 UTC: PR విలీనం చేయబడింది, CI గ్రీన్ (CPU పరీక్ష లేదు), క్విక్‌సిల్వర్ నియమాన్ని 180+ నగరాలకు పంపుతుంది; WAF నియమాలు DOG → PIG → Canary దశలను దాటవేస్తాయి
  • 13:45–14:07: మొదటి పేజీ; ప్రపంచవ్యాప్తంగా CPU 100 %, ట్రాఫిక్ -82 %, అన్నిచోట్లా 502లు; అంతర్గత నియంత్రణ ప్యానెల్ క్లౌడ్‌ఫ్లేర్ యాక్సెస్ వెనుక ఉంది, అది డౌన్ అయ్యింది; కొన్ని ఆధారాలు గడువు ముగిశాయి; చాలా అరుదుగా డ్రిల్ చేయబడిన బైపాస్
  • 14:07–14:09: గ్లోబల్ WAF టెర్మినేట్; 27 నిమిషాల తర్వాత ట్రాఫిక్ మరియు CPU సాధారణ స్థితికి; 14:52 నియమం లేకుండా WAF తిరిగి వచ్చింది
  • జూలై 2 (15:50 UTC) మరియు జూలై 12: క్లౌడ్‌ఫ్లేర్ అదే రోజు గమనికను మరియు పూర్తి పోస్ట్‌మార్టమ్‌ను ప్రచురిస్తుంది; CPU గార్డు తిరిగి జోడించబడింది, 3,868 నియమాలు తిరిగి చదవబడ్డాయి, దశలవారీగా రోల్‌అవుట్‌లు, లీనియర్-టైమ్ రెగెక్స్ ఇంజిన్‌కు మార్పు

ప్రశ్నలు మరియు సమాధానాలు

ఒక రెగ్యులర్ ఎక్స్ప్రెషన్ ప్రపంచవ్యాప్త నెట్‌వర్క్‌ను ఎలా పడగొట్టగలదు?

పరిమితి లేని బ్యాక్‌ట్రాకింగ్‌తో కూడిన రెగ్యులర్ ఎక్స్ప్రెషన్ దాన్ని మూల్యాంకనం చేసే ప్రతి CPU కోర్‌ను పట్టుకోగలదు. క్లౌడ్‌ఫ్లేర్ పోస్ట్‌మార్టం ప్రకారం, కొత్త ఫైర్‌వాల్ నియమం .*(?:.*=.*)తో ముగిసింది, PCRE ప్రతి ఇతర స్ప్లిట్ ద్వారా బ్యాక్‌ట్రాక్ చేసింది మరియు HTTPని అందించే ప్రతి కోర్‌లో CPU 100 %కి చేరుకుంది. క్లౌడ్‌ఫ్లేర్ వెనుక ఉన్న సైట్‌లు 27 నిమిషాల పాటు 502 లోపాలను తిరిగి ఇచ్చాయి మరియు ట్రాఫిక్ 82 % పడిపోయింది.

blog.cloudflare.com · blog.cloudflare.com

సిమ్యులేట్ మోడ్‌లోని ఫైర్‌వాల్ నియమం ఇప్పటికీ ఎందుకు అంతరాయాన్ని కలిగించింది?

సిమ్యులేట్ మోడ్ ట్రాఫిక్‌ను నిరోధించకుండా ఒక నియమాన్ని ఆపుతుంది, కానీ ఆ నియమం ఇప్పటికీ ప్రతి అభ్యర్థనపై మూల్యాంకనం చేయబడుతుంది. జూలై 2, 2019న 13:31 UTCకి విలీనం చేయబడిన నియమం సిమ్యులేట్ మోడ్‌లో క్రాస్-సైట్ స్క్రిప్టింగ్ నియమం, కాబట్టి అది దేనినీ నిరోధించలేదు, అయినప్పటికీ అది ప్రతి అభ్యర్థనపై నడిచింది. క్లౌడ్‌ఫ్లేర్ పోస్ట్‌మార్టం దానిని మూల్యాంకనం చేసే ఖర్చు CPUను ఖాళీ చేసిందని పేర్కొంది.

blog.cloudflare.com

ఒక నియమం రెండు సెకన్లలో ప్రతి క్లౌడ్‌ఫ్లేర్ డేటా సెంటర్‌కు ఎలా చేరింది?

ఫైర్‌వాల్ నియమాలు ఇతర విడుదలలు జరిగిన దశలవారీ రోల్‌అవుట్‌ను దాటవేశాయి. పోస్ట్‌మార్టం ప్రకారం, నియమాలు లైవ్ దాడులను ఆపడానికి ఉన్నందున ఏ నియమానికైనా ఒకేసారి ప్రపంచవ్యాప్తంగా వెళ్ళడానికి ఈ ప్రక్రియ అనుమతించింది. ఈ నియమం అత్యవసరం కాదు, మరియు క్విక్‌సిల్వర్ ఇప్పటికీ దానిని సుమారు రెండు సెకన్లలో 180+ నగరాలకు నెట్టింది, దానిని పట్టుకోవడానికి CIలో CPU పరీక్ష లేకుండా.

blog.cloudflare.com · blog.cloudflare.com

లోపభూయిష్ట ఫైర్‌వాల్ భాగాన్ని స్విచ్ ఆఫ్ చేయడానికి క్లౌడ్‌ఫ్లేర్‌కు 27 నిమిషాలు ఎందుకు పట్టింది?

అంతర్గత నియంత్రణ ప్యానెల్ క్లౌడ్‌ఫ్లేర్ యాక్సెస్ వెనుక ఉంది, అది క్లౌడ్‌ఫ్లేర్ వెనుక ఉంది, కాబట్టి అంతరాయం కిల్‌స్విచ్‌కు మార్గాన్ని నిరోధించింది. కొన్ని ఆధారాలు ఉపయోగించకపోవడం వల్ల గడువు ముగిసాయి, మరియు అరుదుగా డ్రిల్ చేయబడిన బైపాస్‌కు సుమారు ఐదు నిమిషాలు పట్టింది. ప్రపంచవ్యాప్త WAF టెర్మినేట్ 14:07 UTCకి వర్తింపజేయబడింది, మరియు ట్రాఫిక్ 14:09కి మళ్లీ సాధారణ స్థితికి వచ్చింది.

blog.cloudflare.com · x.com

క్లౌడ్‌ఫ్లేర్ అంతరాయం తర్వాత జట్లు బ్యాక్‌ట్రాకింగ్‌తో కూడిన రెగ్యులర్ ఎక్స్ప్రెషన్ ఇంజిన్‌లను అభ్యర్థన-మార్గ కోడ్‌లో ఉంచాలా?

క్లౌడ్‌ఫ్లేర్ పరిష్కారం కోసం ది డైలీ డిఫ్ తీర్పు SHIP IT. CPU గార్డు పునరుద్ధరించబడింది, 3,868 నియమాలు మళ్లీ చదవబడ్డాయి, నియమాలు దశలవారీ రోల్‌అవుట్‌ల ద్వారా వెళ్తాయి, మరియు ఇంజిన్ లీనియర్-టైమ్ గ్యారెంటీలతో ఒకదానికి కదులుతుంది. ఈ సంఘటన యొక్క ఆచరణాత్మక సలహా ఏమిటంటే, ప్రతి అభ్యర్థనపై నడిచే ఏదైనా దానిలో డాట్-స్టార్ డాట్-స్టార్ వంటి నమూనాలను నివారించడం మరియు కిల్‌స్విచ్‌ను అది నియంత్రించే సిస్టమ్ నుండి దూరంగా ఉంచడం.

blog.cloudflare.com

అనువదించబడిన ట్రాన్స్క్రిప్ట్

అసలైన ఆంగ్ల కథనం నుండి అనువదించబడింది. అందుబాటులో ఉన్న ఆడియో మరియు క్యాప్షన్లు YouTube ద్వారా నియంత్రించబడతాయి.

0:00 ఒక రెగ్యులర్ ఎక్స్‌ప్రెషన్ క్లౌడ్‌ఫ్లేర్ సర్వర్లన్నింటిలో ఒకేసారి ప్రత్యక్షమవుతుంది, మరియు తరువాతి ఇరవై ఏడు నిమిషాల పాటు దాని వెనుక ఉన్న సైట్‌లు 502 పేజీగా ఉంటాయి, ఇది, ఒక ఫైర్‌వాల్‌కు, సాధ్యమయ్యే అత్యంత కఠినమైన సెట్టింగ్. జూలై 2వ తేదీ, 2019, 13:42 UTC. క్లౌడ్‌ఫ్లేర్ రెండు గంటలలోపు పోస్ట్ చేస్తుంది: దాడి కాదు, ఒక తప్పు డిప్లాయ్, ట్రాఫిక్ 82 శాతం తగ్గింది. పది రోజుల తర్వాత CTO జాన్ గ్రాహం-కమ్మింగ్ పూర్తి పోస్ట్‌మార్టమ్‌ను ప్రచురిస్తాడు, రెగెక్స్ చేర్చబడింది, మరియు హ్యాకర్ న్యూస్ దానికి 698 పాయింట్లు ఇస్తుంది,

0:26 ఇది ఒక అంతరాయానికి స్టాండింగ్ ఒవేషన్. ఇది ఎలా జరుగుతుంది, ఇది ఎందుకు సాధ్యమవుతుంది, మరియు వాస్తవానికి ఎవరు నిందించబడతారు. ఇది The Daily Diff, పోస్ట్‌మార్టమ్. 13:31. ఒక పుల్ రిక్వెస్ట్ విలీనం అవుతుంది: క్రాస్-సైట్‌కు వ్యతిరేకంగా ఒక కొత్త ఫైర్‌వాల్ నియమం స్క్రిప్టింగ్, సిమ్యులేట్ మోడ్‌లో, కాబట్టి ఇది దేనినీ నిరోధించదు. 13:37, పరీక్షలు పాస్ అవుతాయి; ఏదీ CPUని కొలవదు. 13:42, నియమం రెండు సెకన్లలో 180 నగరాలకు పంపబడుతుంది, ఎందుకంటే WAF నియమాలు కుక్క, పంది మరియు కానరీ దశలను ఇతర విడుదలలు పొందుతాయి.

0:54 13:45, మొదటి పేజీ. 13:49, హ్యాకర్ న్యూస్‌లో స్టేటస్ పేజీపై ఒక థ్రెడ్ ఉంది, అది ఇప్పటికీ అన్ని సిస్టమ్‌లు పనిచేస్తున్నాయని చెబుతుంది. నియమం డాట్-స్టార్, డాట్-స్టార్, ఈక్వల్స్, డాట్-స్టార్‌తో ముగుస్తుంది: ఏదైనా, తరువాత ఏదైనా, తరువాత ఒక ఈక్వల్స్ సైన్. PCRE అత్యాశతో ఊహిస్తుంది, విఫలమవుతుంది, మరియు ప్రతి ఇతర స్ప్లిట్ ద్వారా వెనక్కి వెళ్తుంది. x ఈక్వల్స్ xకి 23 దశలు పడుతుంది. ఈక్వల్స్ తర్వాత ఇరవై xలు: 555.

1:15 ఇరవై xలు, ఈక్వల్స్ సైన్ లేదు: ఏమీ కనుగొనడానికి 4,067 దశలు. ప్రతి అభ్యర్థనపై దానిని రన్ చేయండి మరియు ప్రతి కోర్ వంద శాతం వద్ద ఉంటుంది, ఏమీ చేయకుండా, పూర్తిగా. రెండు గార్డులు దానిని పట్టుకోవాలి. నియమాలపై CPU పరిమితి వారాల ముందు పొరపాటున తొలగించబడింది, WAF తక్కువ CPUని ఉపయోగించేలా చేయడానికి ఉద్దేశించిన ఒక రీఫాక్టర్‌లో. మరియు విధానం ఏదైనా నియమాన్ని స్టేజింగ్‌ను దాటవేయడానికి అనుమతిస్తుంది, ఎందుకంటే లైవ్ దాడులను ఆపడానికి నియమాలు ఉన్నాయి, ఇది అత్యవసరం కాదు, మరియు అది ఏమైనా ప్రపంచవ్యాప్తంగా వెళ్ళింది.

1:37 14:00, WAF గుర్తించబడింది; దాడి లేదు. 14:02, ఎవరో గ్లోబల్ టెర్మినేట్‌ను ప్రతిపాదిస్తారు: ఒక భాగం, ఆఫ్, ప్రపంచవ్యాప్తంగా. స్విచ్ క్లౌడ్‌ఫ్లేర్ యాక్సెస్ వెనుక ఉంది. క్లౌడ్‌ఫ్లేర్ యాక్సెస్ క్లౌడ్‌ఫ్లేర్ వెనుక ఉంది. కొన్ని ఆధారాలు ఉపయోగించకపోవడం వల్ల గడువు ముగిశాయి, కాబట్టి ఇంటర్నెట్‌లోని వేగవంతమైన నెట్‌వర్క్ ఎవరూ డ్రిల్ చేయని బైపాస్‌పై ఐదు నిమిషాలు గడిపింది. 14:07, కిల్‌. 14:09, ట్రాఫిక్ సాధారణ స్థితికి. git blame: ఒక వేగంతో రోల్‌అవుట్, గ్లోబల్; ఒక CPU గార్డు

2:04 ప్రమాదవశాత్తు రీఫాక్టరైజ్ చేయబడింది; ఎగువ పరిమితి లేని రెగెక్స్ ఇంజిన్. నియమాన్ని వ్రాసిన ఇంజనీర్ కాదు: పోస్ట్‌మార్టమ్ పదకొండు కారణాలను జాబితా చేస్తుంది మరియు ఎవరికీ పేరు పెట్టదు. బ్లాస్ట్ రేడియస్: 27 నిమిషాలు, 82 శాతం ట్రాఫిక్, ప్రతి కోర్‌పై 100 శాతం CPU, ప్రతి నగరంలో. డాష్‌బోర్డ్ మరియు API అదే ఎడ్జ్ వెనుక ఉన్నాయి, కాబట్టి కస్టమర్‌లు దాన్ని స్విచ్ చేయలేరు ఆఫ్. పోస్ట్‌మార్టమ్ కింద హ్యాకర్ న్యూస్: వారికి ఒక సమస్య ఉంది, ఒక రెగ్యులర్ ఎక్స్‌ప్రెషన్‌ను ఉపయోగించారు, ఇప్పుడు వారికి రెండు ఉన్నాయి. పాత జోక్. ఇప్పటికీ కంపైల్ అవుతుంది.

2:28 తీర్పు, పోస్ట్‌మార్టమ్: SHIP IT. CPU గార్డు తిరిగి వచ్చింది, అన్ని 3,868 నియమాలు చేతితో చదవబడతాయి, నియమాలు స్టేజింగ్ ద్వారా వెళ్తాయి, మరియు ఇంజిన్ లీనియర్-టైమ్ హామీలు ఉన్న ఇంజిన్‌కు మారుతుంది, కెన్ థాంప్సన్ 1968లో ప్రచురించారు. సోమవారం: ప్రతి అభ్యర్థనపై నడిచే దేనిలోనూ డాట్-స్టార్ డాట్-స్టార్ ఉండకూడదు, మరియు కిల్‌ స్విచ్‌ను అది చంపే దాని నుండి దూరంగా ఉంచండి. మీరు ఇంకా మాట్లాడటానికి అనుమతి లేని సంఘటనను నాకు పంపండి, వ్యాఖ్యలలో, లేదా the daily diff dot dev వద్ద.

2:53 మరియు ఇది ఈరోజు కోసం diff. నేను Axrisi నుండి నికో. బాధ్యతాయుతంగా విలీనం చేయండి.

మూలాలు

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

సంబంధిత వీడియోలు

postmortem · te · 19 సెప్టెం, 2026

ఖాళీ క్షేత్రంలో గూగుల్ క్లౌడ్ క్రాష్ అయింది. మూడు గంటలు.

కొన్ని ఖాళీ క్షేత్రాలతో కూడిన పాలసీ అడ్డువరుస నల్ పాయింటర్‌ని తాకింది, మరియు గూగుల్ క్లౌడ్ ఒకేసారి అన్ని ప్రాంతాలలో క్రాష్ అయ్యింది — ఆ తర్వాత క్లౌడ్‌ఫ్లేర్ కూడా పడిపోయింది. జూన్ 12, 2025, 17:49 UTC:

2:57 ↗
postmortem · te · 16 సెప్టెం, 2026

ఫేస్‌బుక్ ఇంటర్నెట్ నుండి తనను తాను తొలగించుకుంది. ఆరు గంటలు.

ఫేస్‌బుక్ తన అడ్రస్‌ను ఇంటర్నెట్ నుండి తొలగించింది, మరియు దాని ఇంజనీర్లు దాన్ని తిరిగి పెట్టడానికి వచ్చినప్పుడు, బ్యాడ్జ్ రీడర్‌లు కూడా పనిచేయలేదు, ఎందుకంటే అవి ఫేస్‌బుక్‌పై పనిచేస్తాయి. అక్టోబర్ 4, 2

3:01 ↗
postmortem · te · 25 సెప్టెం, 2026

ఒక మిల్లీసెకను బగ్ UK విమాన ట్రాఫిక్‌ను ఆపింది. ఆరు గంటలు.

సెప్టెంబర్ 8, మంగళవారం 10:00 గంటలకు, NATS యొక్క నేషనల్ ఎయిర్‌స్పేస్ సిస్టమ్ (NAS) లోపల ఒక సాధారణ స్క్వాక్-కోడ్ అభ్యర్థన ఒక విలువను అప్‌డేట్ చేస్తున్నప్పుడు అధిక-ప్రాధాన్యత సందేశం ద్వారా అంతరాయం కలిగిం

3:06 ↗
postmortem · te · 22 సెప్టెం, 2026

రీబూట్ టెల్స్ట్రాను 2006కి పంపింది. తొంభై లక్షల ఫోన్‌లు.

మెల్‌బోర్న్‌లోని ఒక ఇంజనీర్ తెల్లవారుజామున 2:50కి ఒక టైమింగ్ ఛాసిస్‌ను తిరిగి ఆన్ చేస్తారు, అల్పాహారం సమయానికి ఆస్ట్రేలియాలోని అతిపెద్ద మొబైల్ నెట్‌వర్క్ అది నవంబర్ 2006 అని అంగీకరిస్తుంది. జూలై 8, 20

3:15 ↗