ഒരു റെഗുലർ എക്സ്പ്രഷൻ ക്ലൗഡ്ഫ്ലെയറിനെ 27 മിനിറ്റ് പ്രവർത്തനരഹിതമാക്കി.
ജൂലൈ 2, 2019, 13:42 UTC: ക്ലൗഡ്ഫ്ലെയറിന്റെ വെബ് ആപ്ലിക്കേഷൻ ഫയർവാളിനായുള്ള ഒരു പുതിയ നിയമം ഏകദേശം രണ്ട് സെക്കൻഡിനുള്ളിൽ 180+ നഗരങ്ങളിൽ പ്രവർത്തനക്ഷമമായി.
ജൂലൈ 2, 2019, 13:42 UTC: ക്ലൗഡ്ഫ്ലെയറിന്റെ വെബ് ആപ്ലിക്കേഷൻ ഫയർവാളിനായുള്ള ഒരു പുതിയ നിയമം ഏകദേശം രണ്ട് സെക്കൻഡിനുള്ളിൽ 180+ നഗരങ്ങളിൽ പ്രവർത്തനക്ഷമമായി. ഇത് സിമുലേറ്റ് മോഡിലുള്ള ഒരു XSS നിയമമാണ്, അതിനാൽ ഇത് ഒന്നും തടയുന്നില്ല, പക്ഷേ ഇത് ഓരോ അഭ്യർത്ഥനയിലും പ്രവർത്തിക്കുകയും .*(?:.*=.*) എന്നതിൽ അവസാനിക്കുകയും ചെയ്യുന്നു. PCRE ബാക്ക് ട്രാക്ക് ചെയ്യുന്നു, HTTP സേവനം നൽകുന്ന ഓരോ CPU കോറും 100 % ആകുന്നു, ഓരോ ക്ലൗഡ്ഫ്ലെയർ-പ്രോക്സഡ് സൈറ്റും 27 മിനിറ്റ് 502 തിരികെ നൽകുന്നു; ട്രാഫിക് 82 % കുറയുന്നു. കിൽ സ്വിച്ച് ക്ലൗഡ്ഫ്ലെയർ ആക്സസ്സിന് പിന്നിലാണ്, അത് ക്ലൗഡ്ഫ്ലെയറിന് പിന്നിലാണ്. പോസ്റ്റ്മോർട്ടം, ക്ലൗഡ്ഫ്ലെയറിന്റെ സ്വന്തം എഴുത്തിൽ നിന്ന്: CPU ലാഭിക്കാൻ ഉദ്ദേശിച്ചുള്ള ഒരു റീഫാക്ടറിൽ ആഴ്ചകൾക്ക് മുമ്പ് നീക്കം ചെയ്ത CPU ഗാർഡ്, ഏതൊരു നിയമത്തിനും സ്റ്റേജിംഗ് ഒഴിവാക്കാൻ അനുവദിച്ച നടപടിക്രമം, കോംപ്ലക്സിറ്റി ഗ്യാരണ്ടി ഇല്ലാത്ത എഞ്ചിൻ, 11 കാരണങ്ങളും 7 പരിഹാരങ്ങളും. പരിഹാരത്തിനുള്ള വിധി: SHIP IT.
എഴുതിയ പതിപ്പ് വായിക്കുക (ഇംഗ്ലീഷ്) ↗
ഈ വീഡിയോയിൽ ഉൾപ്പെടുന്ന കാര്യങ്ങൾ
- 13:31–13:42 UTC: PR ലയിപ്പിച്ചു, CI ഗ്രീൻ (CPU ടെസ്റ്റ് ഇല്ല), ക്വിക്ക്സിൽവർ നിയമം 180+ നഗരങ്ങളിലേക്ക് തള്ളിവിടുന്നു; WAF നിയമങ്ങൾ DOG → PIG → Canary സ്റ്റേജുകൾ ഒഴിവാക്കുന്നു
- 13:45–14:07: ആദ്യ പേജ്; ലോകമെമ്പാടും CPU 100 %, ട്രാഫിക് −82 %, എല്ലായിടത്തും 502s; ആന്തരിക നിയന്ത്രണ പാനൽ ക്ലൗഡ്ഫ്ലെയർ ആക്സസ്സിന് പിന്നിലാണ്, അത് പ്രവർത്തനരഹിതമാണ്; ചില ക്രെഡൻഷ്യലുകൾക്ക് കാലാവധി കഴിഞ്ഞു; അപൂർവ്വമായി പരിശീലിപ്പിച്ച ഒരു ബൈപാസ്
- 14:07–14:09: ഗ്ലോബൽ WAF അവസാനിപ്പിക്കുക; 27 മിനിറ്റിന് ശേഷം ട്രാഫിക്കും CPU-വും സാധാരണ നിലയിലാകുന്നു; 14:52 WAF നിയമം ഇല്ലാതെ തിരികെ
- ജൂലൈ 2 (15:50 UTC) കൂടാതെ ജൂലൈ 12: ക്ലൗഡ്ഫ്ലെയർ അതേ ദിവസത്തെ കുറിപ്പും മുഴുവൻ പോസ്റ്റ്മോർട്ടവും പ്രസിദ്ധീകരിക്കുന്നു; CPU ഗാർഡ് വീണ്ടും ചേർത്തു, 3,868 നിയമങ്ങൾ വീണ്ടും വായിച്ചു, സ്റ്റേജ് ചെയ്ത റോളൗട്ടുകൾ, ലീനിയർ-ടൈം റെഗുലർ എക്സ്പ്രഷൻ എഞ്ചിനിലേക്ക് മാറുക
ചോദ്യോത്തരങ്ങൾ
ഒരു സാധാരണ റെഗുലർ എക്സ്പ്രഷന് എങ്ങനെ ഒരു ആഗോള ശൃംഖലയെ തകർക്കാൻ കഴിയും?
അനിയന്ത്രിതമായ ബാക്ക്ട്രാക്കിംഗുള്ള ഒരു റെഗുലർ എക്സ്പ്രഷന് അതിനെ വിലയിരുത്തുന്ന എല്ലാ സിപിയു കോറുകളെയും തടസ്സപ്പെടുത്താൻ കഴിയും. ക്ലൗഡ്ഫ്ലെയറിന്റെ പോസ്റ്റ്മോർട്ടം അനുസരിച്ച്, ഒരു പുതിയ ഫയർവാൾ റൂൾ .*(?:.*=.*) എന്നതിൽ അവസാനിച്ചു, PCRE മറ്റ് എല്ലാ സ്പ്ലിറ്റുകളിലൂടെയും ബാക്ക്ട്രാക്ക് ചെയ്തു, കൂടാതെ HTTP സേവനം നൽകുന്ന എല്ലാ കോറുകളിലും സിപിയു 100% ആയി. ക്ലൗഡ്ഫ്ലെയറിന് പിന്നിലുള്ള സൈറ്റുകൾക്ക് 27 മിനിറ്റ് നേരത്തേക്ക് 502 പിശകുകൾ ലഭിക്കുകയും ട്രാഫിക് 82% കുറയുകയും ചെയ്തു.
സിമുലേറ്റ് മോഡിലുള്ള ഒരു ഫയർവാൾ നിയമം എങ്ങനെയാണ് തടസ്സമുണ്ടാക്കിയത്?
സിമുലേറ്റ് മോഡ് ഒരു റൂളിനെ ട്രാഫിക് തടയുന്നതിൽ നിന്ന് തടയുന്നു, പക്ഷേ റൂൾ ഓരോ അഭ്യർത്ഥനയിലും വിലയിരുത്തപ്പെടുന്നു. 2019 ജൂലൈ 2-ന് 13:31 UTC-ന് ലയിപ്പിച്ച റൂൾ സിമുലേറ്റ് മോഡിലുള്ള ഒരു ക്രോസ്-സൈറ്റ് സ്ക്രിപ്റ്റിംഗ് റൂൾ ആയിരുന്നു, അതിനാൽ അത് ഒന്നും തടഞ്ഞില്ല, എന്നിട്ടും അത് ഓരോ അഭ്യർത്ഥനയിലും പ്രവർത്തിച്ചു. ക്ലൗഡ്ഫ്ലെയറിന്റെ പോസ്റ്റ്മോർട്ടം അനുസരിച്ച്, അത് വിലയിരുത്തുന്നതിനുള്ള ചിലവ് സിപിയുവിനെ തളർത്തി.
ഒരൊറ്റ നിയമം എങ്ങനെ രണ്ട് സെക്കൻഡിനുള്ളിൽ എല്ലാ ക്ലൗഡ്ഫ്ലെയർ ഡാറ്റാ സെന്ററുകളിലും എത്തി?
ഫയർവാൾ നിയമങ്ങൾ മറ്റ് റിലീസുകൾ കടന്നുപോയ സ്റ്റേജ്ഡ് റോളൗട്ട് ഒഴിവാക്കി. പോസ്റ്റ്മോർട്ടം അനുസരിച്ച്, ലൈവ് ആക്രമണങ്ങളെ തടയാൻ നിയമങ്ങൾ ഉള്ളതുകൊണ്ട് ഏതൊരു നിയമത്തെയും ഒറ്റയടിക്ക് ആഗോളതലത്തിൽ എത്തിക്കാൻ ഈ നടപടിക്രമം അനുവദിച്ചു. ഈ റൂൾ ഒരു അടിയന്തിരാവസ്ഥയായിരുന്നില്ല, എന്നിട്ടും ക്വിക്ക്സിൽവർ ഏകദേശം രണ്ട് സെക്കൻഡിനുള്ളിൽ 180+ നഗരങ്ങളിലേക്ക് ഇത് പ്രചരിപ്പിച്ചു, CI-യിൽ ഇത് കണ്ടെത്താൻ ഒരു സിപിയു പരിശോധനയും ഉണ്ടായിരുന്നില്ല.
കേടായ ഫയർവാൾ ഘടകം ഓഫ് ചെയ്യാൻ ക്ലൗഡ്ഫ്ലെയറിന് 27 മിനിറ്റ് എടുത്തത് എന്തുകൊണ്ട്?
ആന്തരിക നിയന്ത്രണ പാനൽ ക്ലൗഡ്ഫ്ലെയർ ആക്സസ്സിന് പിന്നിലായിരുന്നു, അത് ക്ലൗഡ്ഫ്ലെയറിന് പിന്നിലായിരുന്നു, അതിനാൽ തടസ്സം കിൽ സ്വിച്ചിലേക്കുള്ള വഴി തടഞ്ഞു. ചില ക്രെഡൻഷ്യലുകൾ ഉപയോഗിക്കാത്തതുകൊണ്ട് കാലഹരണപ്പെട്ടു, അപൂർവമായി പരിശീലിച്ച ഒരു ബൈപാസ് ഏകദേശം അഞ്ച് മിനിറ്റ് എടുത്തു. ആഗോള WAF ടെർമിനേറ്റ് 14:07 UTC-ന് പ്രയോഗിച്ചു, 14:09-ഓടെ ട്രാഫിക് വീണ്ടും സാധാരണ നിലയിലായി.
ക്ലൗഡ്ഫ്ലെയർ തകരാറിന് ശേഷം ടീമുകൾ റിക്വസ്റ്റ്-പാത്ത് കോഡിൽ ബാക്ക്ട്രാക്കിംഗോടുകൂടിയ റെഗുലർ എക്സ്പ്രഷൻ എഞ്ചിനുകൾ സൂക്ഷിക്കണോ?
ദ ഡെയ്ലി ഡിഫിന്റെ വിധി ക്ലൗഡ്ഫ്ലെയറിന്റെ പരിഹാരത്തിനായി ഷിപ്പ് ഇറ്റ് എന്നായിരുന്നു. സിപിയു ഗാർഡ് പുനഃസ്ഥാപിച്ചു, 3,868 നിയമങ്ങൾ വീണ്ടും വായിച്ചു, നിയമങ്ങൾ സ്റ്റേജ്ഡ് റോളൗട്ടുകളിലൂടെ കടന്നുപോകുന്നു, കൂടാതെ എഞ്ചിൻ ലീനിയർ-ടൈം ഗ്യാരന്റികളുള്ള ഒന്നിലേക്ക് മാറുന്നു. ഓരോ അഭ്യർത്ഥനയിലും പ്രവർത്തിക്കുന്ന എന്തിലും ഡോട്ട്-സ്റ്റാർ ഡോട്ട്-സ്റ്റാർ പോലുള്ള പാറ്റേണുകൾ ഒഴിവാക്കാനും കിൽ സ്വിച്ച് നിയന്ത്രിക്കുന്ന സിസ്റ്റത്തിൽ നിന്ന് മാറ്റി നിർത്താനും ഈ സംഭവത്തിന്റെ പ്രായോഗിക ഉപദേശം നൽകുന്നു.
വിവർത്തനം ചെയ്ത ട്രാൻസ്ക്രിപ്റ്റ്
യഥാർത്ഥ ഇംഗ്ലീഷ് ആഖ്യാനത്തിൽ നിന്ന് വിവർത്തനം ചെയ്തത്. ലഭ്യമായ ഓഡിയോയും അടിക്കുറിപ്പുകളും YouTube നിയന്ത്രിക്കുന്നു.
0:00 ഒരു റെഗുലർ എക്സ്പ്രഷൻ ക്ലൗഡ്ഫ്ലെയറിന്റെ എല്ലാ സെർവറുകളിലും ഒരേസമയം പ്രവർത്തനക്ഷമമാകുന്നു, അടുത്ത ഇരുപത്തിയേഴ് മിനിറ്റിനുള്ളിൽ അതിന് പിന്നിലുള്ള സൈറ്റുകൾ ഒരു 502 പേജാണ്, ഇതൊരു ഫയർവാളിനെ സംബന്ധിച്ചിടത്തോളം സാധ്യമായ ഏറ്റവും കർശനമായ ക്രമീകരണമാണ്. 2019 ജൂലൈ 2, 13:42 UTC. രണ്ട് മണിക്കൂറിനുള്ളിൽ ക്ലൗഡ്ഫ്ലെയർ പോസ്റ്റ് ചെയ്യുന്നു: ഒരു ആക്രമണമല്ല, തെറ്റായ വിന്യാസം, ട്രാഫിക് 82 ശതമാനം കുറഞ്ഞു. പത്ത് ദിവസത്തിന് ശേഷം CTO ജോൺ ഗ്രഹാം-കമ്മിംഗ് മുഴുവൻ പോസ്റ്റ്മോർട്ടവും പ്രസിദ്ധീകരിക്കുന്നു, റെഗുലർ എക്സ്പ്രഷൻ ഉൾപ്പെടുത്തി, ഹാക്കർ ന്യൂസ് അതിന് 698 പോയിന്റ് നൽകുന്നു,
0:26 ഒരു തകരാറിനെ സംബന്ധിച്ചിടത്തോളം ഇത് ഒരു സ്റ്റാൻഡിംഗ് ഓവേഷനാണ്. ഇത് എങ്ങനെ സംഭവിക്കുന്നു, ഇത് എങ്ങനെ സാധ്യമാകുന്നു, യഥാർത്ഥത്തിൽ ആർക്കാണ് ഇതിന് ഉത്തരവാദിത്തം. ഇത് The Daily Diff, പോസ്റ്റ്മോർട്ടം. 13:31. ഒരു പുൾ റിക്വസ്റ്റ് ലയിപ്പിക്കുന്നു: ക്രോസ്-സൈറ്റിനെതിരെ ഒരു പുതിയ ഫയർവാൾ നിയമം സ്ക്രിപ്റ്റിംഗ്, സിമുലേറ്റ് മോഡിൽ, അതിനാൽ ഇത് ഒന്നും തടയുന്നില്ല. 13:37, ടെസ്റ്റുകൾ പാസാകുന്നു; CPU അളക്കുന്നില്ല. 13:42, നിയമം രണ്ട് സെക്കൻഡിനുള്ളിൽ 180 നഗരങ്ങളിലേക്ക് വിതരണം ചെയ്യുന്നു, കാരണം WAF നിയമങ്ങൾ മറ്റ് റിലീസുകൾക്ക് ലഭിക്കുന്ന ഡോഗ്, പിഗ്, കാനറി സ്റ്റേജുകൾ ഒഴിവാക്കുന്നു.
0:54 13:45, ആദ്യ പേജ്. 13:49, ഹാക്കർ ന്യൂസിന് സ്റ്റാറ്റസ് പേജിൽ ഒരു ത്രെഡ് ഉണ്ട്, അത് ഇപ്പോഴും എല്ലാ സിസ്റ്റങ്ങളും പ്രവർത്തിക്കുന്നു എന്ന് പറയുന്നു. നിയമം ഡോട്ട്-സ്റ്റാർ, ഡോട്ട്-സ്റ്റാർ, ഈക്വൽസ്, ഡോട്ട്-സ്റ്റാർ എന്നിവയിൽ അവസാനിക്കുന്നു: എന്തും, പിന്നെ എന്തും, പിന്നെ ഒരു സമചിഹ്നം. PCRE അത്യാഗ്രഹത്തോടെ ഊഹിക്കുന്നു, പരാജയപ്പെടുന്നു, എല്ലാ മറ്റ് സ്പ്ലിറ്റുകളിലൂടെയും ബാക്ക് ട്രാക്ക് ചെയ്യുന്നു. x ഈക്വൽസ് x-ന് 23 ഘട്ടങ്ങൾ എടുക്കുന്നു. സമചിഹ്നത്തിന് ശേഷം ഇരുപത് x-കൾ: 555.
1:15 ഇരുപത് x-കൾ, സമചിഹ്നം ഇല്ല: ഒന്നും കണ്ടെത്താൻ 4,067 ഘട്ടങ്ങൾ. ഓരോ അഭ്യർത്ഥനയിലും ഇത് പ്രവർത്തിപ്പിക്കുക, ഓരോ കോറും നൂറു ശതമാനത്തിലായിരിക്കും, ഒന്നും ചെയ്യുന്നില്ല, പൂർണ്ണമായി. രണ്ട് ഗാർഡുകൾ ഇത് പിടികൂടേണ്ടതായിരുന്നു. നിയമങ്ങളിലെ CPU പരിധി ആഴ്ചകൾക്ക് മുമ്പ് അബദ്ധവശാൽ നീക്കം ചെയ്തു, WAF കുറഞ്ഞ CPU ഉപയോഗിക്കാൻ ഉദ്ദേശിച്ചുള്ള ഒരു റീഫാക്ടറിൽ. കൂടാതെ നടപടിക്രമം ഏതൊരു നിയമത്തിനും സ്റ്റേജിംഗ് ഒഴിവാക്കാൻ അനുവദിക്കുന്നു, കാരണം ലൈവ് ആക്രമണങ്ങൾ തടയാൻ നിയമങ്ങൾ നിലവിലുണ്ട്; ഇത് ഒരു അടിയന്തരാവസ്ഥയായിരുന്നില്ല, എന്നിട്ടും ഇത് ലോകമെമ്പാടും പോയി.
1:37 14:00, WAF തിരിച്ചറിഞ്ഞു; ആക്രമണമില്ല. 14:02, ആരെങ്കിലും ഗ്ലോബൽ ടെർമിനേറ്റ് നിർദ്ദേശിക്കുന്നു: ഒരു ഘടകം, ഓഫ്, ലോകമെമ്പാടും. സ്വിച്ച് ക്ലൗഡ്ഫ്ലെയർ ആക്സസ്സിന് പിന്നിലാണ്. ക്ലൗഡ്ഫ്ലെയർ ആക്സസ് ക്ലൗഡ്ഫ്ലെയറിന് പിന്നിലാണ്. ഉപയോഗിക്കാത്തതിനാൽ ചില ക്രെഡൻഷ്യലുകൾക്ക് കാലാവധി കഴിഞ്ഞു, അതിനാൽ ഇന്റർനെറ്റിലെ ഏറ്റവും വേഗതയേറിയ നെറ്റ്വർക്ക് പരിശീലിക്കാത്ത ഒരു ബൈപാസ്സിൽ അഞ്ച് മിനിറ്റ് ചെലവഴിക്കുന്നു. 14:07, കിൽ. 14:09, ട്രാഫിക് സാധാരണ നിലയിൽ. git blame: ഒരു വേഗതയിൽ, ആഗോളതലത്തിൽ ഒരു റോളൗട്ട്; അബദ്ധവശാൽ റീഫാക്ടർ ചെയ്ത ഒരു CPU ഗാർഡ്;
2:04 അപ്പർ ബൗണ്ട് ഇല്ലാത്ത ഒരു റെഗുലർ എക്സ്പ്രഷൻ എഞ്ചിൻ. നിയമം എഴുതിയ എഞ്ചിനീയറല്ല: പോസ്റ്റ്മോർട്ടം പതിനൊന്ന് കാരണങ്ങൾ ലിസ്റ്റ് ചെയ്യുന്നു, ആരെയും പേര് പറയുന്നില്ല. ബ്ലാസ്റ്റ് റേഡിയസ്: 27 മിനിറ്റ്, 82 ശതമാനം ട്രാഫിക്, ഓരോ കോറിലും 100 ശതമാനം CPU, എല്ലാ നഗരങ്ങളിലും. ഡാഷ്ബോർഡും API-യും ഒരേ എഡ്ജിന് പിന്നിലാണ്, അതിനാൽ ഉപഭോക്താക്കൾക്ക് അത് ഓഫ് ചെയ്യാൻ പോലും കഴിയില്ല. ഹാക്കർ ന്യൂസ്, പോസ്റ്റ്മോർട്ടത്തിന് കീഴിൽ: അവർക്ക് ഒരു പ്രശ്നമുണ്ടായിരുന്നു, ഒരു റെഗുലർ എക്സ്പ്രഷൻ ഉപയോഗിച്ചു, ഇപ്പോൾ അവർക്ക് രണ്ട് പ്രശ്നങ്ങളുണ്ട്. പഴയ തമാശ. ഇപ്പോഴും കംപൈൽ ചെയ്യുന്നു.
2:28 വിധി, പോസ്റ്റ്മോർട്ടം: SHIP IT. CPU ഗാർഡ് തിരിച്ചെത്തി, 3,868 നിയമങ്ങളും നേരിട്ട് വായിക്കുന്നു, നിയമങ്ങൾ സ്റ്റേജിംഗിലൂടെ കടന്നുപോകുന്നു, കൂടാതെ എഞ്ചിൻ ലീനിയർ-ടൈം ഗ്യാരന്റികളുള്ള ഒന്നിലേക്ക് മാറുന്നു, കെൻ തോംസൺ 1968-ൽ പ്രസിദ്ധീകരിച്ചത്. തിങ്കളാഴ്ച: ഓരോ അഭ്യർത്ഥനയിലും പ്രവർത്തിക്കുന്ന ഒന്നിനും ഡോട്ട്-സ്റ്റാർ ഡോട്ട്-സ്റ്റാർ ഇല്ല, അത് കൊല്ലുന്ന കാര്യത്തിൽ നിന്ന് കിൽ സ്വിച്ച് മാറ്റി നിർത്തുക. നിങ്ങൾക്ക് ഇപ്പോഴും സംസാരിക്കാൻ അനുവാദമില്ലാത്ത സംഭവം എനിക്ക് അയച്ചുതരിക, കമന്റുകളിലോ daily diff dot dev-ലോ.
2:53 അതാണ് ഇന്നത്തെ വ്യത്യാസം. ഞാൻ Axrisi-ൽ നിന്നുള്ള നിക്കോയാണ്. ഉത്തരവാദിത്തത്തോടെ ലയിപ്പിക്കുക.
ഉറവിടങ്ങൾ
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



