ഒരു റെഗുലർ എക്സ്പ്രഷൻ ക്ലൗഡ്‌ഫ്ലെയറിനെ 27 മിനിറ്റ് പ്രവർത്തനരഹിതമാക്കി.
ജൂലൈ 2, 2019, 13:42 UTC: ക്ലൗഡ്‌ഫ്ലെയറിന്റെ വെബ് ആപ്ലിക്കേഷൻ ഫയർവാളിനായുള്ള ഒരു പുതിയ നിയമം ഏകദേശം രണ്ട് സെക്കൻഡിനുള്ളിൽ 180+ നഗരങ്ങളിൽ പ്രവർത്തനക്ഷമമായി.
ജൂലൈ 2, 2019, 13:42 UTC: ക്ലൗഡ്‌ഫ്ലെയറിന്റെ വെബ് ആപ്ലിക്കേഷൻ ഫയർവാളിനായുള്ള ഒരു പുതിയ നിയമം ഏകദേശം രണ്ട് സെക്കൻഡിനുള്ളിൽ 180+ നഗരങ്ങളിൽ പ്രവർത്തനക്ഷമമായി. ഇത് സിമുലേറ്റ് മോഡിലുള്ള ഒരു XSS നിയമമാണ്, അതിനാൽ ഇത് ഒന്നും തടയുന്നില്ല, പക്ഷേ ഇത് ഓരോ അഭ്യർത്ഥനയിലും പ്രവർത്തിക്കുകയും .*(?:.*=.*) എന്നതിൽ അവസാനിക്കുകയും ചെയ്യുന്നു. PCRE ബാക്ക് ട്രാക്ക് ചെയ്യുന്നു, HTTP സേവനം നൽകുന്ന ഓരോ CPU കോറും 100 % ആകുന്നു, ഓരോ ക്ലൗഡ്‌ഫ്ലെയർ-പ്രോക്സഡ് സൈറ്റും 27 മിനിറ്റ് 502 തിരികെ നൽകുന്നു; ട്രാഫിക് 82 % കുറയുന്നു. കിൽ സ്വിച്ച് ക്ലൗഡ്‌ഫ്ലെയർ ആക്‌സസ്സിന് പിന്നിലാണ്, അത് ക്ലൗഡ്‌ഫ്ലെയറിന് പിന്നിലാണ്. പോസ്റ്റ്‌മോർട്ടം, ക്ലൗഡ്‌ഫ്ലെയറിന്റെ സ്വന്തം എഴുത്തിൽ നിന്ന്: CPU ലാഭിക്കാൻ ഉദ്ദേശിച്ചുള്ള ഒരു റീഫാക്ടറിൽ ആഴ്ചകൾക്ക് മുമ്പ് നീക്കം ചെയ്ത CPU ഗാർഡ്, ഏതൊരു നിയമത്തിനും സ്റ്റേജിംഗ് ഒഴിവാക്കാൻ അനുവദിച്ച നടപടിക്രമം, കോംപ്ലക്സിറ്റി ഗ്യാരണ്ടി ഇല്ലാത്ത എഞ്ചിൻ, 11 കാരണങ്ങളും 7 പരിഹാരങ്ങളും. പരിഹാരത്തിനുള്ള വിധി: SHIP IT.
എഴുതിയ പതിപ്പ് വായിക്കുക (ഇംഗ്ലീഷ്) ↗
ഈ വീഡിയോയിൽ ഉൾപ്പെടുന്ന കാര്യങ്ങൾ
- 13:31–13:42 UTC: PR ലയിപ്പിച്ചു, CI ഗ്രീൻ (CPU ടെസ്റ്റ് ഇല്ല), ക്വിക്ക്‌സിൽവർ നിയമം 180+ നഗരങ്ങളിലേക്ക് തള്ളിവിടുന്നു; WAF നിയമങ്ങൾ DOG → PIG → Canary സ്റ്റേജുകൾ ഒഴിവാക്കുന്നു
- 13:45–14:07: ആദ്യ പേജ്; ലോകമെമ്പാടും CPU 100 %, ട്രാഫിക് −82 %, എല്ലായിടത്തും 502s; ആന്തരിക നിയന്ത്രണ പാനൽ ക്ലൗഡ്‌ഫ്ലെയർ ആക്‌സസ്സിന് പിന്നിലാണ്, അത് പ്രവർത്തനരഹിതമാണ്; ചില ക്രെഡൻഷ്യലുകൾക്ക് കാലാവധി കഴിഞ്ഞു; അപൂർവ്വമായി പരിശീലിപ്പിച്ച ഒരു ബൈപാസ്
- 14:07–14:09: ഗ്ലോബൽ WAF അവസാനിപ്പിക്കുക; 27 മിനിറ്റിന് ശേഷം ട്രാഫിക്കും CPU-വും സാധാരണ നിലയിലാകുന്നു; 14:52 WAF നിയമം ഇല്ലാതെ തിരികെ
- ജൂലൈ 2 (15:50 UTC) കൂടാതെ ജൂലൈ 12: ക്ലൗഡ്‌ഫ്ലെയർ അതേ ദിവസത്തെ കുറിപ്പും മുഴുവൻ പോസ്റ്റ്‌മോർട്ടവും പ്രസിദ്ധീകരിക്കുന്നു; CPU ഗാർഡ് വീണ്ടും ചേർത്തു, 3,868 നിയമങ്ങൾ വീണ്ടും വായിച്ചു, സ്റ്റേജ് ചെയ്ത റോളൗട്ടുകൾ, ലീനിയർ-ടൈം റെഗുലർ എക്സ്പ്രഷൻ എഞ്ചിനിലേക്ക് മാറുക
വിവർത്തനം ചെയ്ത ട്രാൻസ്ക്രിപ്റ്റ്
യഥാർത്ഥ ഇംഗ്ലീഷ് ആഖ്യാനത്തിൽ നിന്ന് വിവർത്തനം ചെയ്തത്. ലഭ്യമായ ഓഡിയോയും അടിക്കുറിപ്പുകളും YouTube നിയന്ത്രിക്കുന്നു.
0:00 ഒരു റെഗുലർ എക്സ്പ്രഷൻ ക്ലൗഡ്‌ഫ്ലെയറിന്റെ എല്ലാ സെർവറുകളിലും ഒരേസമയം പ്രവർത്തനക്ഷമമാകുന്നു, അടുത്ത ഇരുപത്തിയേഴ് മിനിറ്റിനുള്ളിൽ അതിന് പിന്നിലുള്ള സൈറ്റുകൾ ഒരു 502 പേജാണ്, ഇതൊരു ഫയർവാളിനെ സംബന്ധിച്ചിടത്തോളം സാധ്യമായ ഏറ്റവും കർശനമായ ക്രമീകരണമാണ്. 2019 ജൂലൈ 2, 13:42 UTC. രണ്ട് മണിക്കൂറിനുള്ളിൽ ക്ലൗഡ്‌ഫ്ലെയർ പോസ്റ്റ് ചെയ്യുന്നു: ഒരു ആക്രമണമല്ല, തെറ്റായ വിന്യാസം, ട്രാഫിക് 82 ശതമാനം കുറഞ്ഞു. പത്ത് ദിവസത്തിന് ശേഷം CTO ജോൺ ഗ്രഹാം-കമ്മിംഗ് മുഴുവൻ പോസ്റ്റ്‌മോർട്ടവും പ്രസിദ്ധീകരിക്കുന്നു, റെഗുലർ എക്സ്പ്രഷൻ ഉൾപ്പെടുത്തി, ഹാക്കർ ന്യൂസ് അതിന് 698 പോയിന്റ് നൽകുന്നു,
0:26 ഒരു തകരാറിനെ സംബന്ധിച്ചിടത്തോളം ഇത് ഒരു സ്റ്റാൻഡിംഗ് ഓവേഷനാണ്. ഇത് എങ്ങനെ സംഭവിക്കുന്നു, ഇത് എങ്ങനെ സാധ്യമാകുന്നു, യഥാർത്ഥത്തിൽ ആർക്കാണ് ഇതിന് ഉത്തരവാദിത്തം. ഇത് The Daily Diff, പോസ്റ്റ്‌മോർട്ടം. 13:31. ഒരു പുൾ റിക്വസ്റ്റ് ലയിപ്പിക്കുന്നു: ക്രോസ്-സൈറ്റിനെതിരെ ഒരു പുതിയ ഫയർവാൾ നിയമം സ്ക്രിപ്റ്റിംഗ്, സിമുലേറ്റ് മോഡിൽ, അതിനാൽ ഇത് ഒന്നും തടയുന്നില്ല. 13:37, ടെസ്റ്റുകൾ പാസാകുന്നു; CPU അളക്കുന്നില്ല. 13:42, നിയമം രണ്ട് സെക്കൻഡിനുള്ളിൽ 180 നഗരങ്ങളിലേക്ക് വിതരണം ചെയ്യുന്നു, കാരണം WAF നിയമങ്ങൾ മറ്റ് റിലീസുകൾക്ക് ലഭിക്കുന്ന ഡോഗ്, പിഗ്, കാനറി സ്റ്റേജുകൾ ഒഴിവാക്കുന്നു.
0:54 13:45, ആദ്യ പേജ്. 13:49, ഹാക്കർ ന്യൂസിന് സ്റ്റാറ്റസ് പേജിൽ ഒരു ത്രെഡ് ഉണ്ട്, അത് ഇപ്പോഴും എല്ലാ സിസ്റ്റങ്ങളും പ്രവർത്തിക്കുന്നു എന്ന് പറയുന്നു. നിയമം ഡോട്ട്-സ്റ്റാർ, ഡോട്ട്-സ്റ്റാർ, ഈക്വൽസ്, ഡോട്ട്-സ്റ്റാർ എന്നിവയിൽ അവസാനിക്കുന്നു: എന്തും, പിന്നെ എന്തും, പിന്നെ ഒരു സമചിഹ്നം. PCRE അത്യാഗ്രഹത്തോടെ ഊഹിക്കുന്നു, പരാജയപ്പെടുന്നു, എല്ലാ മറ്റ് സ്പ്ലിറ്റുകളിലൂടെയും ബാക്ക് ട്രാക്ക് ചെയ്യുന്നു. x ഈക്വൽസ് x-ന് 23 ഘട്ടങ്ങൾ എടുക്കുന്നു. സമചിഹ്നത്തിന് ശേഷം ഇരുപത് x-കൾ: 555.
1:15 ഇരുപത് x-കൾ, സമചിഹ്നം ഇല്ല: ഒന്നും കണ്ടെത്താൻ 4,067 ഘട്ടങ്ങൾ. ഓരോ അഭ്യർത്ഥനയിലും ഇത് പ്രവർത്തിപ്പിക്കുക, ഓരോ കോറും നൂറു ശതമാനത്തിലായിരിക്കും, ഒന്നും ചെയ്യുന്നില്ല, പൂർണ്ണമായി. രണ്ട് ഗാർഡുകൾ ഇത് പിടികൂടേണ്ടതായിരുന്നു. നിയമങ്ങളിലെ CPU പരിധി ആഴ്ചകൾക്ക് മുമ്പ് അബദ്ധവശാൽ നീക്കം ചെയ്തു, WAF കുറഞ്ഞ CPU ഉപയോഗിക്കാൻ ഉദ്ദേശിച്ചുള്ള ഒരു റീഫാക്ടറിൽ. കൂടാതെ നടപടിക്രമം ഏതൊരു നിയമത്തിനും സ്റ്റേജിംഗ് ഒഴിവാക്കാൻ അനുവദിക്കുന്നു, കാരണം ലൈവ് ആക്രമണങ്ങൾ തടയാൻ നിയമങ്ങൾ നിലവിലുണ്ട്; ഇത് ഒരു അടിയന്തരാവസ്ഥയായിരുന്നില്ല, എന്നിട്ടും ഇത് ലോകമെമ്പാടും പോയി.
1:37 14:00, WAF തിരിച്ചറിഞ്ഞു; ആക്രമണമില്ല. 14:02, ആരെങ്കിലും ഗ്ലോബൽ ടെർമിനേറ്റ് നിർദ്ദേശിക്കുന്നു: ഒരു ഘടകം, ഓഫ്, ലോകമെമ്പാടും. സ്വിച്ച് ക്ലൗഡ്‌ഫ്ലെയർ ആക്‌സസ്സിന് പിന്നിലാണ്. ക്ലൗഡ്‌ഫ്ലെയർ ആക്‌സസ് ക്ലൗഡ്‌ഫ്ലെയറിന് പിന്നിലാണ്. ഉപയോഗിക്കാത്തതിനാൽ ചില ക്രെഡൻഷ്യലുകൾക്ക് കാലാവധി കഴിഞ്ഞു, അതിനാൽ ഇന്റർനെറ്റിലെ ഏറ്റവും വേഗതയേറിയ നെറ്റ്‌വർക്ക് പരിശീലിക്കാത്ത ഒരു ബൈപാസ്സിൽ അഞ്ച് മിനിറ്റ് ചെലവഴിക്കുന്നു. 14:07, കിൽ. 14:09, ട്രാഫിക് സാധാരണ നിലയിൽ. git blame: ഒരു വേഗതയിൽ, ആഗോളതലത്തിൽ ഒരു റോളൗട്ട്; അബദ്ധവശാൽ റീഫാക്ടർ ചെയ്ത ഒരു CPU ഗാർഡ്;
2:04 അപ്പർ ബൗണ്ട് ഇല്ലാത്ത ഒരു റെഗുലർ എക്സ്പ്രഷൻ എഞ്ചിൻ. നിയമം എഴുതിയ എഞ്ചിനീയറല്ല: പോസ്റ്റ്‌മോർട്ടം പതിനൊന്ന് കാരണങ്ങൾ ലിസ്റ്റ് ചെയ്യുന്നു, ആരെയും പേര് പറയുന്നില്ല. ബ്ലാസ്റ്റ് റേഡിയസ്: 27 മിനിറ്റ്, 82 ശതമാനം ട്രാഫിക്, ഓരോ കോറിലും 100 ശതമാനം CPU, എല്ലാ നഗരങ്ങളിലും. ഡാഷ്‌ബോർഡും API-യും ഒരേ എഡ്ജിന് പിന്നിലാണ്, അതിനാൽ ഉപഭോക്താക്കൾക്ക് അത് ഓഫ് ചെയ്യാൻ പോലും കഴിയില്ല. ഹാക്കർ ന്യൂസ്, പോസ്റ്റ്‌മോർട്ടത്തിന് കീഴിൽ: അവർക്ക് ഒരു പ്രശ്നമുണ്ടായിരുന്നു, ഒരു റെഗുലർ എക്സ്പ്രഷൻ ഉപയോഗിച്ചു, ഇപ്പോൾ അവർക്ക് രണ്ട് പ്രശ്നങ്ങളുണ്ട്. പഴയ തമാശ. ഇപ്പോഴും കംപൈൽ ചെയ്യുന്നു.
2:28 വിധി, പോസ്റ്റ്‌മോർട്ടം: SHIP IT. CPU ഗാർഡ് തിരിച്ചെത്തി, 3,868 നിയമങ്ങളും നേരിട്ട് വായിക്കുന്നു, നിയമങ്ങൾ സ്റ്റേജിംഗിലൂടെ കടന്നുപോകുന്നു, കൂടാതെ എഞ്ചിൻ ലീനിയർ-ടൈം ഗ്യാരന്റികളുള്ള ഒന്നിലേക്ക് മാറുന്നു, കെൻ തോംസൺ 1968-ൽ പ്രസിദ്ധീകരിച്ചത്. തിങ്കളാഴ്ച: ഓരോ അഭ്യർത്ഥനയിലും പ്രവർത്തിക്കുന്ന ഒന്നിനും ഡോട്ട്-സ്റ്റാർ ഡോട്ട്-സ്റ്റാർ ഇല്ല, അത് കൊല്ലുന്ന കാര്യത്തിൽ നിന്ന് കിൽ സ്വിച്ച് മാറ്റി നിർത്തുക. നിങ്ങൾക്ക് ഇപ്പോഴും സംസാരിക്കാൻ അനുവാദമില്ലാത്ത സംഭവം എനിക്ക് അയച്ചുതരിക, കമന്റുകളിലോ daily diff dot dev-ലോ.
2:53 അതാണ് ഇന്നത്തെ വ്യത്യാസം. ഞാൻ Axrisi-ൽ നിന്നുള്ള നിക്കോയാണ്. ഉത്തരവാദിത്തത്തോടെ ലയിപ്പിക്കുക.
ഉറവിടങ്ങൾ
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com
