+− THE DAILY DIFFdev & AI news
SHIP IT

एका रेगएक्सने क्लाउडफ्लेअरला 27 मिनिटांसाठी खाली पाडले.

2 जुलै 2019, 13:42 UTC: क्लाउडफ्लेअरच्या वेब ॲप्लिकेशन फायरवॉलसाठी एक नवीन नियम अंदाजे दोन सेकंदात 180+ शहरांमध्ये लाइव्ह होतो.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 जुलै 2019, 13:42 UTC: क्लाउडफ्लेअरच्या वेब ॲप्लिकेशन फायरवॉलसाठी एक नवीन नियम अंदाजे दोन सेकंदात 180+ शहरांमध्ये लाइव्ह होतो. हा सिम्युलेट मोडमधील XSS नियम आहे, त्यामुळे तो काहीही ब्लॉक करत नाही, परंतु तो प्रत्येक विनंतीवर चालतो आणि तो .*(?:.*=.*) मध्ये संपतो. PCRE बॅकटॅक करते, HTTP ला सेवा देणारे प्रत्येक CPU कोर 100% पर्यंत पोहोचते आणि प्रत्येक क्लाउडफ्लेअर-प्रॉक्सी केलेली साइट 27 मिनिटांसाठी 502 परत करते; रहदारी 82% कमी होते. किल स्विच क्लाउडफ्लेअर ॲक्सेसच्या मागे आहे, जो क्लाउडफ्लेअरच्या मागे आहे. क्लाउडफ्लेअरच्या स्वतःच्या लेखनातून पोस्टमॉर्टम: CPU वाचवण्यासाठी काही आठवड्यांपूर्वी रिफॅक्टरमध्ये काढलेले CPU गार्ड, ज्यामुळे कोणताही नियम स्टेजिंग वगळता आला, जटिलतेची हमी नसलेले इंजिन, 11 कारणे आणि 7 उपाय. दुरुस्तीवरील निर्णय: SHIP IT.

लिखित आवृत्ती वाचा (इंग्रजी) ↗

या व्हिडिओमध्ये काय समाविष्ट आहे

  • 13:31–13:42 UTC: PR विलीन झाले, CI हिरवे (CPU चाचणी नाही), क्विक्सिलव्हर नियम 180+ शहरांमध्ये ढकलते; WAF नियम DOG → PIG → कॅनरी स्टेज वगळतात
  • 13:45–14:07: पहिले पृष्ठ; जगभरात CPU 100%, रहदारी -82%, सर्वत्र 502s; अंतर्गत नियंत्रण पॅनेल क्लाउडफ्लेअर ॲक्सेसच्या मागे आहे, जे डाउन आहे; काही क्रेडेन्शियल्सची मुदत संपली आहे; क्वचितच वापरला जाणारा बायपास
  • 14:07–14:09: जागतिक WAF समाप्त; 27 मिनिटांनंतर रहदारी आणि CPU सामान्य; 14:52 WAF नियमाशिवाय परत आले
  • 2 जुलै (15:50 UTC) आणि 12 जुलै: क्लाउडफ्लेअर त्याच दिवसाची टीप आणि पूर्ण पोस्टमॉर्टम प्रकाशित करते; CPU गार्ड पुन्हा जोडले, 3,868 नियम पुन्हा वाचले, स्टेज्ड रोलआउट्स, लिनियर-टाइम रेगएक्स इंजिनकडे संक्रमण

प्रश्न आणि उत्तरे

एकच नियमित अभिव्यक्ती जागतिक नेटवर्कला कसे खाली आणू शकते?

अनबाउंड बॅकट्रॅकिंगसह एक रेग्रेक्स प्रत्येक सीपीयू कोरला पिन करू शकते जे त्याचे मूल्यांकन करते. क्लाउडफ्लेअरच्या पोस्टमॉर्टमनुसार, नवीन फायरवॉल नियम .*(?:.*=.*) मध्ये संपला, PCRE ने इतर प्रत्येक स्प्लिटमधून बॅकट्रॅक केले आणि HTTP सर्व्ह करणाऱ्या प्रत्येक कोरवर CPU 100% पर्यंत पोहोचला. क्लाउडफ्लेअरच्या मागे असलेल्या साइट्सनी 27 मिनिटांसाठी 502 एरर परत केल्या आणि रहदारी 82% नी कमी झाली.

blog.cloudflare.com · blog.cloudflare.com

सिम्युलेट मोडमधील फायरवॉल नियमामुळे अजूनही आउटेज का झाला?

सिम्युलेट मोड नियमाला रहदारी अवरोधित करण्यापासून थांबवतो, परंतु नियमाचे प्रत्येक विनंतीवर मूल्यांकन केले जाते. 2 जुलै 2019 रोजी 13:31 UTC वाजता विलीन केलेला नियम सिम्युलेट मोडमध्ये क्रॉस-साइट स्क्रिप्टिंग नियम होता, त्यामुळे त्याने काहीही अवरोधित केले नाही, तरीही तो प्रत्येक विनंतीवर चालला. क्लाउडफ्लेअरच्या पोस्टमॉर्टममध्ये म्हटले आहे की त्याचे मूल्यांकन करण्याच्या खर्चामुळे CPU संपले.

blog.cloudflare.com

एक नियम दोन सेकंदात प्रत्येक क्लाउडफ्लेअर डेटा सेंटरपर्यंत कसा पोहोचला?

फायरवॉल नियमांनी इतर रिलीझमधून गेलेली स्टेड रोलआउट वगळली. पोस्टमॉर्टमनुसार, प्रक्रियेने कोणत्याही नियमाला एकाच वेळी जागतिक बनण्याची परवानगी दिली कारण नियम थेट हल्ले थांबवण्यासाठी अस्तित्वात आहेत. हा नियम आपत्कालीन नव्हता आणि क्विक्सिल्व्हरने तरीही त्याला सुमारे दोन सेकंदात 180+ शहरांमध्ये ढकलले, CI मध्ये कोणतीही CPU चाचणी नव्हती ती पकडण्यासाठी.

blog.cloudflare.com · blog.cloudflare.com

क्लाउडफ्लेअरला सदोष फायरवॉल घटक बंद करण्यासाठी 27 मिनिटे का लागली?

आंतरिक नियंत्रण पॅनेल क्लाउडफ्लेअर ऍक्सेसच्या मागे होते, जे क्लाउडफ्लेअरच्या मागे होते, त्यामुळे आउटेजने किल स्विचच्या मार्गाला अवरोधित केले. काही क्रेडेंशियल्स अनुपयोगामुळे कालबाह्य झाली होती आणि क्वचितच ड्रिल केलेल्या बायपासला सुमारे पाच मिनिटे लागली. जागतिक WAF समाप्त 14:07 UTC वाजता लागू केले गेले आणि रहदारी 14:09 वाजता पुन्हा सामान्य झाली.

blog.cloudflare.com · x.com

क्लाउडफ्लेअर आउटेजनंतर संघांनी विनंती-पाथ कोडमध्ये बॅकट्रॅकिंगसह रेग्रेक्स इंजिन ठेवावे का?

द डेली डिफचा निर्णय क्लाउडफ्लेअरच्या दुरुस्तीसाठी शिप इट होता. CPU गार्ड पुनर्संचयित केले गेले, 3,868 नियमांचे पुन्हा वाचन केले गेले, नियम स्टेड रोलआउटमधून जातात आणि इंजिन लीनियर-टाइम हमी असलेल्या इंजिनमध्ये स्थलांतरित होते. या भागाचा व्यावहारिक सल्ला असा आहे की प्रत्येक विनंतीवर चालणाऱ्या कोणत्याही गोष्टीमध्ये डॉट-स्टार डॉट-स्टार सारख्या पॅटर्न टाळा आणि किल स्विच ज्या प्रणालीला नियंत्रित करतो त्या प्रणालीतून दूर ठेवा.

blog.cloudflare.com

अनुवादित प्रतिलेख

मूळ इंग्रजी निवेदनातून अनुवादित. उपलब्ध ऑडिओ आणि मथळे YouTube द्वारे नियंत्रित आहेत.

0:00 एक नियमित अभिव्यक्ती एकाच वेळी प्रत्येक क्लाउडफ्लेअर सर्व्हरवर लाइव्ह होते, आणि पुढील सत्तावीस मिनिटांसाठी त्याच्यामागील साइट्स 502 पृष्ठ असतात, जे, फायरवॉलसाठी, शक्य असलेली सर्वात कठोर सेटिंग आहे. 2 जुलै 2019, 13:42 UTC. क्लाउडफ्लेअर दोन तासांच्या आत पोस्ट करते: हल्ला नाही, खराब डिप्लॉय, रहदारी 82 टक्क्यांनी कमी झाली. दहा दिवसांनंतर CTO जॉन ग्रॅहम-कमिंग पूर्ण पोस्टमॉर्टम प्रकाशित करतात, रेगएक्स समाविष्ट आहे, आणि हॅकर न्यूज त्याला 698 गुण देते,

0:26 जे एखाद्या आउटेजसाठी स्टँडिंग ओव्हेशन आहे. हे कसे घडते, हे का शक्य आहे, आणि कोणाला खरोखर दोष दिला जातो. हे The Daily Diff आहे, पोस्टमॉर्टम. 13:31. एक पुल रिक्वेस्ट विलीन होते: क्रॉस-साइट विरुद्ध एक नवीन फायरवॉल नियम स्क्रिप्टिंग, सिम्युलेट मोडमध्ये, त्यामुळे ते काहीही ब्लॉक करत नाही. 13:37, चाचण्या पास होतात; कोणीही CPU मोजत नाही. 13:42, नियम दोन सेकंदात 180 शहरांमध्ये पाठवला जातो, कारण WAF नियम इतर रिलीझना मिळणारे डॉग, पिग आणि कॅनरी स्टेज वगळतात.

0:54 13:45, पहिले पृष्ठ. 13:49, हॅकर न्यूजमध्ये स्टेटस पेजवर एक थ्रेड आहे, जे अजूनही 'सर्व सिस्टम कार्यरत' असे म्हणते. नियम डॉट-स्टार, डॉट-स्टार, इक्वल्स, डॉट-स्टार मध्ये संपतो: काहीही, नंतर काहीही, नंतर एक बरोबरीचे चिन्ह. PCRE लोभाने अंदाज लावते, अयशस्वी होते आणि प्रत्येक इतर स्प्लिटमधून बॅकटॅक करते. x बरोबर x ला 23 पायऱ्या लागतात. बरोबर चिन्हा नंतर वीस x: 555.

1:15 वीस x, बरोबरीचे चिन्ह नाही: काहीही शोधण्यासाठी 4,067 पायऱ्या. प्रत्येक विनंतीवर आणि प्रत्येक कोअरवर ते चालवा आणि प्रत्येक कोअर शंभर टक्के कार्यरत आहे, काहीही न करता, पूर्णपणे. दोन रक्षकांनी ते पकडले असते. नियमांवरील CPU मर्यादा काही आठवड्यांपूर्वी चुकीने काढली गेली होती, WAF ला कमी CPU वापरण्यासाठी बनवलेल्या रिफॅक्टरमध्ये. आणि प्रक्रिया कोणत्याही नियमाला स्टेजिंग वगळण्याची परवानगी देते, कारण थेट हल्ले थांबवण्यासाठी नियम अस्तित्वात आहेत; हा एक आणीबाणी नव्हती, आणि तो तरीही जागतिक झाला.

1:37 14:00, WAF ओळखले जाते; हल्ला नाही. 14:02, कोणीतरी जागतिक समाप्तीचा प्रस्ताव देतो: एक घटक, बंद, जगभरात. स्विच क्लाउडफ्लेअर ॲक्सेसच्या मागे आहे. क्लाउडफ्लेअर ॲक्सेस क्लाउडफ्लेअरच्या मागे आहे. काही क्रेडेन्शियल्स वापरल्या नसल्यामुळे त्यांची मुदत संपली आहे, त्यामुळे इंटरनेटवरील सर्वात वेगवान नेटवर्क पाच मिनिटे बायपासवर खर्च करते जो कोणीही वापरला नाही. 14:07, किल. 14:09, रहदारी सामान्य. git blame: एका गतीसह रोलआउट, जागतिक; CPU गार्ड अपघाताने रिफॅक्टर केले गेले;

2:04 वरची मर्यादा नसलेले रेगएक्स इंजिन. नियम लिहिणारा अभियंता नाही: पोस्टमॉर्टममध्ये अकरा कारणे सूचीबद्ध आहेत आणि कोणाचेही नाव नाही. स्फोट त्रिज्या: 27 मिनिटे, 82 टक्के रहदारी, प्रत्येक कोअरवर 100 टक्के CPU, प्रत्येक शहरात. डॅशबोर्ड आणि API त्याच एजच्या मागे आहेत, त्यामुळे ग्राहक ते बंदही करू शकत नाहीत. हॅकर न्यूज, पोस्टमॉर्टम अंतर्गत: त्यांना एक समस्या होती, नियमित अभिव्यक्ती वापरली, आता त्यांना दोन आहेत. जुना विनोद. अजूनही संकलित होतो.

2:28 निकाल, पोस्टमॉर्टम: SHIP IT. CPU गार्ड परत आले आहे, सर्व 3,868 नियम हाताने वाचले जातात, नियम स्टेजिंगमधून जातात, आणि इंजिन 1968 मध्ये केन थॉम्पसनने प्रकाशित केलेल्या लिनियर-टाइम गॅरंटीसह एकाकडे जाते. सोमवार: प्रत्येक विनंतीवर चालणाऱ्या कोणत्याही गोष्टीत डॉट-स्टार डॉट-स्टार नाही, आणि किल स्विच ते मारणाऱ्या गोष्टीपासून दूर ठेवा. मला तुम्ही अजूनही बोलू शकत नसलेली घटना पाठवा, टिप्पण्यांमध्ये, किंवा daily diff dot dev वर.

2:53 आणि हा आजचा डिफरन्स आहे. मी ॲक्स्रिसी (Axrisi) चा निको आहे. जबाबदारीने विलीन करा.

स्रोत

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

संबंधित व्हिडिओ

postmortem · mr · १९ सप्टें, २०२६

Google Cloud एका रिकाम्या फील्डवर क्रॅश झाले. तीन तास.

काही रिकाम्या फील्ड्स असलेली एक पॉलिसी रो नल् पॉइंटरला हिट करते आणि Google Cloud एकाच वेळी प्रत्येक प्रदेशात क्रॅश होते — नंतर Cloudflare देखील त्यासोबत कोसळते. १२ जून २०२५, १७:४९ UTC: Service Control

2:57 ↗
postmortem · mr · १६ सप्टें, २०२६

फेसबुकने स्वतःला इंटरनेटवरून हटवले. सहा तास.

फेसबुकने स्वतःचा पत्ता इंटरनेटवरून काढून टाकला, आणि जेव्हा तिचे अभियंते तो परत ठेवण्यासाठी आले, तेव्हा बॅज रीडरही बंद होते, कारण ते फेसबुकवर चालतात. 4 ऑक्टोबर 2021, 15:40 UTC: एका सामान्य बॅकबोन-देखभा

3:01 ↗
postmortem · mr · २५ सप्टें, २०२६

एक मिलिसेकंदाच्या दोषामुळे यूकेमधील हवाई वाहतूक थांबली. सहा तास.

मंगळवार, 8 सप्टेंबर रोजी 10:00 वाजता, NATS च्या राष्ट्रीय हवाई क्षेत्र प्रणाली (NAS) मधील एक नियमित स्क्वॉक-कोड विनंती उच्च-प्राधान्य संदेशामुळे खंडित झाली, जेव्हा ती एका मूल्याचे अपडेट करण्याच्या मध्

3:06 ↗
postmortem · mr · २२ सप्टें, २०२६

एका रीबूटमुळे टेलस्ट्रा 2006 मध्ये पोहोचले. नव्वद लाख फोन.

मेलबर्नमधील एका अभियंत्याने पहाटे 2:50 वाजता टायमिंग चेसिस पुन्हा चालू केले आणि नाश्त्यापर्यंत ऑस्ट्रेलियाच्या सर्वात मोठ्या मोबाइल नेटवर्कने मान्य केले की तो नोव्हेंबर 2006 आहे. 8 जुलै 2026: टेलस्ट्र

3:15 ↗