+− THE DAILY DIFFdev & AI news
SHIP IT

एउटा रेगुलर एक्सप्रेसनले क्लाउडफ्लेरलाई २७ मिनेटसम्म बन्द गर्‍यो।

जुलाई २, २०१९, १३:४२ UTC: क्लाउडफ्लेरको वेब एप्लिकेसन फायरवालको लागि एउटा नयाँ नियम लगभग दुई सेकेन्डमा १८०+ शहरहरूमा लाइभ हुन्छ।

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

जुलाई २, २०१९, १३:४२ UTC: क्लाउडफ्लेरको वेब एप्लिकेसन फायरवालको लागि एउटा नयाँ नियम लगभग दुई सेकेन्डमा १८०+ शहरहरूमा लाइभ हुन्छ। यो सिमुलेट मोडमा एउटा XSS नियम हो, त्यसैले यसले केही रोक्दैन, तर यसले प्रत्येक अनुरोधमा चल्छ र यो .*(?:.*=.*) मा समाप्त हुन्छ। PCRE ब्याकट्र्याक हुन्छ, HTTP सेवा गर्ने हरेक CPU कोर १००% मा पुग्छ, र हरेक क्लाउडफ्लेर-प्रोक्स्ड साइटले २७ मिनेटसम्म ५०२ फर्काउँछ; ट्राफिक ८२% घट्छ। किल स्विच क्लाउडफ्लेर एक्सेस पछाडि छ, जुन क्लाउडफ्लेर पछाडि छ। पोस्टमोर्टम, क्लाउडफ्लेरको आफ्नै लेखबाट: CPU बचत गर्नको लागि केही हप्ता अघि रिफ्याक्टरमा हटाइएको CPU गार्ड, कुनै पनि नियमलाई स्टेजिङ छोड्न दिने प्रक्रिया, कुनै जटिलता ग्यारेन्टी नभएको इन्जिन, ११ कारणहरू र ७ समाधानहरू। समाधानमा निर्णय: SHIP IT।

लिखित संस्करण पढ्नुहोस् (अंग्रेजी) ↗

यो भिडियोले के समेट्छ

  • १३:३१–१३:४२ UTC: PR मर्ज भयो, CI हरियो (कुनै CPU परीक्षण छैन), क्विकसिल्भरले नियमलाई १८०+ शहरहरूमा धकेल्छ; WAF नियमहरू DOG → PIG → Canary चरणहरू छोड्छन्।
  • १३:४५–१४:०७: पहिलो पृष्ठ; विश्वभर CPU १००%, ट्राफिक −८२%, जताततै ५०२s; आन्तरिक नियन्त्रण प्यानल क्लाउडफ्लेर एक्सेस पछाडि छ, जुन डाउन छ; केही प्रमाणिकरणहरू म्याद सकिएका छन्; एक विरलै अभ्यास गरिएको बाइपास।
  • १४:०७–१४:०९: ग्लोबल WAF समाप्त; २७ मिनेटपछि ट्राफिक र CPU सामान्य; १४:५२ WAF नियम बिना फर्कियो।
  • जुलाई २ (१५:५० UTC) र जुलाई १२: क्लाउडफ्लेरले सोही दिनको नोट र पूर्ण पोस्टमोर्टम प्रकाशित गर्दछ; CPU गार्ड पुन: थपियो, ३,८६८ नियमहरू पुन: पढियो, स्टेज गरिएको रोलआउटहरू, एक रैखिक-समय रेगुलर एक्सप्रेसन इन्जिनमा सर्छ।

प्रश्न र उत्तर

एउटा मात्र नियमित अभिव्यक्तिको कारणले कसरी विश्वव्यापी नेटवर्क डाउन हुन सक्छ?

असीमित ब्याकट्रेकिङ भएको रेग्रेक्सले यसलाई मूल्याङ्कन गर्ने हरेक CPU कोरलाई पिन गर्न सक्छ। क्लाउडफ्लेयरको पोस्टमार्टम अनुसार, एउटा नयाँ फायरवाल नियम .*(?:.*=.*) मा समाप्त भयो, PCRE ले अन्य हरेक विभाजन मार्फत ब्याकट्रेक गर्यो, र HTTP सेवा गर्ने हरेक कोरमा CPU 100% मा पुग्यो। क्लाउडफ्लेयर पछाडिका साइटहरूले 27 मिनेटसम्म 502 त्रुटिहरू फर्काए र ट्राफिक 82% घट्यो।

blog.cloudflare.com · blog.cloudflare.com

सिमुलेट मोडमा रहेको फायरवाल नियमले किन आउटेजको कारण बन्यो?

सिमुलेट मोडले ट्राफिक ब्लक गर्नबाट नियमलाई रोक्छ, तर नियम अझै पनि हरेक अनुरोधमा मूल्याङ्कन गरिन्छ। जुलाई 2, 2019 मा 13:31 UTC मा मर्ज गरिएको नियम सिमुलेट मोडमा क्रस-साइट स्क्रिप्टिङ नियम थियो, त्यसैले यसले केहि पनि ब्लक गरेन, तर यो हरेक अनुरोधमा चल्यो। क्लाउडफ्लेयरको पोस्टमार्टमले यसलाई मूल्याङ्कन गर्ने लागतले CPU लाई समाप्त पारेको बताउँछ।

blog.cloudflare.com

एउटा नियम कसरी दुई सेकेन्डमा हरेक क्लाउडफ्लेयर डाटा सेन्टरमा पुग्यो?

फायरवाल नियमहरूले अन्य रिलीजहरूले पार गरेको चरणबद्ध रोलआउटलाई छोड्यो। पोस्टमार्टम अनुसार, प्रक्रियाले कुनै पनि नियमलाई एकैचोटि विश्वव्यापी हुन दियो किनभने नियमहरू प्रत्यक्ष आक्रमणहरू रोक्न अवस्थित छन्। यो नियम आपतकालीन थिएन, र क्विकसिल्भरले यसलाई लगभग दुई सेकेन्डमा 180+ शहरहरूमा पुर्यायो, यसलाई समात्न CI मा कुनै CPU परीक्षण बिना।

blog.cloudflare.com · blog.cloudflare.com

क्लाउडफ्लेयरलाई त्रुटिपूर्ण फायरवाल कम्पोनेन्ट बन्द गर्न किन 27 मिनेट लाग्यो?

आन्तरिक नियन्त्रण प्यानल क्लाउडफ्लेयर पहुँच पछाडि थियो, जुन क्लाउडफ्लेयर पछाडि थियो, त्यसैले आउटेजले किल स्विचको बाटो अवरुद्ध गर्यो। केही प्रमाणहरू प्रयोग नभएको कारणले म्याद सकिएको थियो, र विरलै अभ्यास गरिएको बाइपासले लगभग पाँच मिनेट लियो। विश्वव्यापी WAF टर्मिनेट 14:07 UTC मा लागू गरियो, र ट्राफिक 14:09 मा फेरि सामान्य भयो।

blog.cloudflare.com · x.com

क्लाउडफ्लेयर आउटेज पछि टोलीहरूले अनुरोध-मार्ग कोडमा ब्याकट्रेकिङको साथ रेग्रेक्स इन्जिनहरू राख्नुपर्छ?

द डेली डिफको फैसला क्लाउडफ्लेयरको समाधानको लागि SHIP IT थियो। CPU गार्ड पुनर्स्थापित गरियो, 3,868 नियमहरू पुन: पढियो, नियमहरू चरणबद्ध रोलआउटहरू मार्फत जान्छन्, र इन्जिन रैखिक-समय ग्यारेन्टीहरूसँग एकमा सर्छ। यस एपिसोडको व्यावहारिक सल्लाह भनेको हरेक अनुरोधमा चल्ने कुनै पनि चीजमा डट-स्टार डट-स्टार जस्ता ढाँचाहरूबाट बच्न र यसले नियन्त्रण गर्ने प्रणालीबाट किल स्विचलाई अलग राख्नु हो।

blog.cloudflare.com

अनुवादित ट्रान्सक्रिप्ट

मूल अंग्रेजी कथाबाट अनुवादित। उपलब्ध अडियो र क्याप्सनहरू YouTube द्वारा नियन्त्रित हुन्छन्।

0:00 एउटा रेगुलर एक्सप्रेसन एकैचोटि सबै क्लाउडफ्लेर सर्भरहरूमा लाइभ हुन्छ, र अर्को सत्ताईस मिनेटसम्म त्यसको पछाडिका साइटहरू ५०२ पृष्ठ हुन्छन्, जुन, फायरवालको लागि, सबैभन्दा कडा सम्भव सेटिङ हो। जुलाई २, २०१९, १३:४२ UTC। क्लाउडफ्लेरले दुई घण्टाभित्र पोस्ट गर्छ: यो आक्रमण होइन, खराब डिप्लोय हो, ट्राफिक ८२ प्रतिशतले घट्यो। दश दिनपछि CTO जोन ग्राहम-कमिंगले पूर्ण पोस्टमोर्टम प्रकाशित गर्छन्, रेगुलर एक्सप्रेसन सहित, र ह्याकर न्यूजले यसलाई ६९८ अंक दिन्छ,

0:26 जुन एक आउटेजको लागि स्ट्यान्डिङ ओभेशन हो। यो कसरी हुन्छ, किन सम्भव छ, र कसलाई वास्तवमा दोष लाग्छ। यो The Daily Diff, पोस्टमोर्टम हो। १३:३१। एउटा पुल रिक्वेस्ट मर्ज हुन्छ: क्रस-साइट विरुद्ध एउटा नयाँ फायरवाल नियम स्क्रिप्टिङ, सिमुलेट मोडमा, त्यसैले यसले केही रोक्दैन। १३:३७, परीक्षण पास हुन्छ; कुनै पनि CPU मापन गर्दैन। १३:४२, नियम दुई सेकेन्डमा १८० शहरहरूमा पठाइन्छ, किनभने WAF नियमहरू कुकुर, सुँगुर र क्यानरी चरणहरू छोड्छन् जुन अन्य रिलीजहरूले पाउँछन्।

0:54 १३:४५, पहिलो पृष्ठ। १३:४९, ह्याकर न्यूजमा स्टेटस पृष्ठमा एउटा थ्रेड छ, जसमा अझै पनि सबै प्रणालीहरू सञ्चालनमा छन् भनिएको छ। नियम डट-स्टार, डट-स्टार, इक्वल्स, डट-स्टारमा समाप्त हुन्छ: केहि पनि, त्यसपछि केहि पनि, त्यसपछि एक इक्वल्स साइन। PCRE लालची रूपमा अनुमान गर्छ, असफल हुन्छ, र हरेक अन्य स्प्लिट मार्फत ब्याकट्र्याक गर्छ। x इक्वल्स x लाई २३ चरण लाग्छ। इक्वल्स पछि बीस x: ५५५।

1:15 बीस x, कुनै इक्वल्स साइन छैन: केही पनि फेला पार्न ४,०६७ चरण। त्यसलाई हरेक अनुरोधमा चलाउनुहोस् र हरेक कोर सय प्रतिशतमा हुन्छ, केही नगरी, राम्ररी। दुई गार्डले यसलाई समात्नुपर्थ्यो। नियमहरूमा CPU सीमा गल्तीले केही हप्ता अघि हटाइएको थियो, WAF लाई कम CPU प्रयोग गर्नको लागि गरिएको रिफ्याक्टरमा। र प्रक्रियाले कुनै पनि नियमलाई स्टेजिङ छोड्न दिन्छ, किनभने नियमहरू लाइभ आक्रमणहरू रोक्नको लागि अवस्थित छन्; यो आपतकालिन थिएन, र यो जे भए पनि विश्वव्यापी भयो।

1:37 १४:००, WAF पहिचान गरियो; कुनै आक्रमण छैन। १४:०२, कसैले विश्वव्यापी समाप्ति प्रस्ताव गर्छ: एक घटक, बन्द, विश्वभर। स्विच क्लाउडफ्लेर एक्सेस पछाडि छ। क्लाउडफ्लेर एक्सेस क्लाउडफ्लेर पछाडि छ। केही प्रमाणिकरणहरू प्रयोगमा नभएको कारण म्याद सकिएका छन्, त्यसैले इन्टरनेटमा सबभन्दा छिटो नेटवर्कले कसैले अभ्यास नगरेको बाइपासमा पाँच मिनेट खर्च गर्छ। १४:०७, किल। १४:०९, ट्राफिक सामान्य। git blame: एक गतिमा रोलआउट, विश्वव्यापी; गल्तीले रिफ्याक्टर गरिएको CPU गार्ड;

2:04 कुनै माथिल्लो सीमा नभएको रेगुलर एक्सप्रेसन इन्जिन। नियम लेख्ने इन्जिनियर होइन: पोस्टमोर्टमले एघार कारणहरू सूचीबद्ध गर्दछ र कसैको नाम लिँदैन। ब्लास्ट रेडियस: २७ मिनेट, ८२ प्रतिशत ट्राफिक, हरेक कोरमा १०० प्रतिशत CPU, हरेक शहरमा। ड्यासबोर्ड र API उही एज पछाडि छन्, त्यसैले ग्राहकहरूले यसलाई बन्द गर्न पनि सक्दैनन्। ह्याकर न्यूज, पोस्टमोर्टम अन्तर्गत: तिनीहरूसँग एउटा समस्या थियो, रेगुलर एक्सप्रेसन प्रयोग गरे, अब तिनीहरूसँग दुईवटा छन्। पुरानो मजाक। अझै कम्पाइल हुन्छ।

2:28 निर्णय, पोस्टमोर्टम: SHIP IT। CPU गार्ड फिर्ता आयो, सबै ३,८६८ नियमहरू हातले पढिन्छन्, नियमहरू स्टेजिङ मार्फत जान्छन्, र इन्जिन १९६८ मा केन थम्पसनले प्रकाशित गरेको रैखिक-समय ग्यारेन्टीहरूसहितको एकमा सर्छ। सोमबार: प्रति अनुरोध चल्ने कुनै पनि कुरामा डट-स्टार डट-स्टार छैन, र किल स्विचलाई यसले मार्ने कुराबाट टाढा राख्नुहोस्। मलाई त्यो घटना पठाउनुहोस् जसको बारेमा तपाईंलाई अझै पनि कुरा गर्न अनुमति छैन, टिप्पणीहरूमा, वा daily diff dot dev मा।

2:53 र आजको लागि यो फरक हो। म Axrisi बाट निको हुँ। जिम्मेवारीपूर्वक मर्ज गर्नुहोस्।

स्रोतहरू

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

सम्बन्धित भिडियोहरू

postmortem · ne · २०२६ सेप्टेम्बर १९

गुगल क्लाउड खाली फिल्डमा क्र्यास भयो। तीन घण्टासम्म।

केही खाली फिल्डहरू भएको नीति पङ्क्तिले नल पोइन्टरमा हिर्काउँछ, र गुगल क्लाउड एकैचोटि सबै क्षेत्रमा क्र्यास हुन्छ — त्यसपछि क्लाउडफ्लेयर पनि त्यसको साथमा खस्छ। जून १२, २०२५, १७:४९ UTC: सर्भिस कन्ट्रोल,

2:57 ↗
postmortem · ne · २०२६ सेप्टेम्बर १६

फेसबुक इन्टरनेटबाट हट्यो। छ घन्टा।

फेसबुकले इन्टरनेटबाट आफ्नो ठेगाना हटायो, र जब यसका इन्जिनियरहरू यसलाई फिर्ता राख्न आइपुग्छन्, ब्याच रिडरहरू पनि बन्द हुन्छन्, किनभने तिनीहरू फेसबुकमा चल्छन्। अक्टोबर ४, २०२१, १५:४० UTC: एक सामान्य ब्य

3:01 ↗
postmortem · ne · २०२६ सेप्टेम्बर २५

एक मिलिसेकेन्डको बगले बेलायतको हवाई यातायात रोक्यो। छ घण्टा।

मंगलबार, सेप्टेम्बर ८ को बिहान १०:०० बजे, NATS को नेशनल एयरस्पेस सिस्टम (NAS) भित्रको एउटा सामान्य स्क्वाक-कोड अनुरोधलाई उच्च प्राथमिकताको सन्देशले अवरुद्ध गर्‍यो, जबकि यो मान अद्यावधिक गर्ने आधा बाटो

3:06 ↗
postmortem · ne · २०२६ सेप्टेम्बर २२

रिबुटले टेल्स्ट्रालाई 2006 मा पुर्यायो। ९० लाख फोनहरू।

मेलबर्नमा एक इन्जिनियरले बिहान २:५० बजे टाइमिंग चेसिसलाई फेरि अन गर्छन्, र बिहानको नास्तासम्ममा अष्ट्रेलियाको सबैभन्दा ठूलो मोबाइल नेटवर्क नोभेम्बर २००६ भएको कुरामा सहमत हुन्छ। जुलाई ८, २०२६: टेल्स्ट्

3:15 ↗