አንድ regex ክላውድፍሌርን አጠፋ። 27 ደቂቃዎች።
ጁላይ 2፣ 2019፣ 13:42 UTC: አንድ አዲስ የCloudflare ዌብ አፕሊኬሽን ፋየርዎል ህግ በ180+ ከተሞች ውስጥ በሁለት ሰከንዶች ውስጥ ስራ ይጀምራል። ይህ በሲሙሌት ሁነታ ያለ የXSS ህግ ነው፣ ስለዚህ ምንም አያግድም፣ ግን አሁንም በእያንዳንዱ ጥያቄ ላይ ይሰራል፣ እና በ.*(?:.*=.*) ያበቃል። PCRE ወደኋላ ይመለሳል፣ HTTP የሚያገለግሉ ሁሉም ሲፒዩ ኮሮች 100% ይደርሳሉ፣ እና በCloudflare የተኪ የተደረጉ ሁሉም ጣቢያዎች ለ27 ደቂቃዎች 502 ይመልሳሉ፤ የትራፊክ ፍሰት 82% ይወርዳል። ገዳይ መቀየሪያው ከCloudflare Access ኋላ ነው፣ እሱም ከCloudflare ኋላ ነው። ከCloudflare የራሱ ዘገባ በኋላ የተደረገ ምርመራ፡ ሲፒዩ ለመቆጠብ በማሰብ ከሳምንታት በፊት በተደረገ መልሶ ማዋቀር የተወገደው የሲፒዩ መከላከያ፣ ማንኛውም ህግ የማዘጋጀት ሂደትን እንዲዘል የፈቀደው አሰራር፣ የውስብስብነት ዋስትና የሌለው ሞተር፣ 11 መንስኤዎች እና 7 መፍትሄዎች። በመፍትሄው ላይ የተሰጠው ብይን: SHIP IT።
ጁላይ 2፣ 2019፣ 13:42 UTC: አንድ አዲስ የCloudflare ዌብ አፕሊኬሽን ፋየርዎል ህግ በ180+ ከተሞች ውስጥ በሁለት ሰከንዶች ውስጥ ስራ ይጀምራል። ይህ በሲሙሌት ሁነታ ያለ የXSS ህግ ነው፣ ስለዚህ ምንም አያግድም፣ ግን አሁንም በእያንዳንዱ ጥያቄ ላይ ይሰራል፣ እና በ.*(?:.*=.*) ያበቃል። PCRE ወደኋላ ይመለሳል፣ HTTP የሚያገለግሉ ሁሉም ሲፒዩ ኮሮች 100% ይደርሳሉ፣ እና በCloudflare የተኪ የተደረጉ ሁሉም ጣቢያዎች ለ27 ደቂቃዎች 502 ይመልሳሉ፤ የትራፊክ ፍሰት 82% ይወርዳል። ገዳይ መቀየሪያው ከCloudflare Access ኋላ ነው፣ እሱም ከCloudflare ኋላ ነው። ከCloudflare የራሱ ዘገባ በኋላ የተደረገ ምርመራ፡ ሲፒዩ ለመቆጠብ በማሰብ ከሳምንታት በፊት በተደረገ መልሶ ማዋቀር የተወገደው የሲፒዩ መከላከያ፣ ማንኛውም ህግ የማዘጋጀት ሂደትን እንዲዘል የፈቀደው አሰራር፣ የውስብስብነት ዋስትና የሌለው ሞተር፣ 11 መንስኤዎች እና 7 መፍትሄዎች። በመፍትሄው ላይ የተሰጠው ብይን: SHIP IT።
ይህ ቪዲዮ ምን ይሸፍናል
- 13:31–13:42 UTC: PR ተቀላቅሏል፣ CI አረንጓዴ (ምንም የሲፒዩ ሙከራ የለም)፣ Quicksilver ህጉን ወደ 180+ ከተሞች ይገፋል፤ WAF ህጎች DOG → PIG → Canary ደረጃዎችን ይዘላሉ።
- 13:45–14:07: የመጀመሪያ ገጽ; ሲፒዩ 100% በዓለም ዙሪያ፣ ትራፊክ -82%፣ በየቦታው 502s; የውስጥ መቆጣጠሪያ ፓኔሉ ከCloudflare Access ኋላ ነው፣ እሱም ጠፍቷል፤ አንዳንድ ምስክርነቶች ጊዜያቸው አልፏል፤ አልፎ አልፎ የሚደረግ ማለፊያ።
- 14:07–14:09: ዓለም አቀፍ WAF ማቋረጥ; ከ27 ደቂቃዎች በኋላ ትራፊክ እና ሲፒዩ መደበኛ; 14:52 WAF ህጉን ሳይጨምር ተመልሷል።
- ጁላይ 2 (15:50 UTC) እና ጁላይ 12: Cloudflare በተመሳሳይ ቀን ማስታወሻውን እና ሙሉውን ከውድቀት በኋላ የተደረገ ምርመራን ያትማል፤ የሲፒዩ መከላከያ እንደገና ታክሏል፣ 3,868 ህጎች እንደገና ተነበቡ፣ ደረጃ በደረጃ የሚደረጉ ማሰራጫዎች፣ ወደ መስመራዊ ጊዜ regex ሞተር ሽግግር።
ጥያቄዎች እና መልሶች
አንድ መደበኛ አገላለጽ እንዴት ዓለም አቀፍ አውታረ መረብን ማጥፋት ይችላል?
ያልተገደበ ወደኋላ መመለስ ያለው regex የሚያገኘውን እያንዳንዱን ሲፒዩ ኮር ሊይዝ ይችላል። በCloudflare ከውድቀት በኋላ በተደረገው ምርመራ መሰረት፣ አዲስ የፋየርዎል ህግ በ.*(?:.*=.*) አብቅቷል፣ PCRE በእያንዳንዱ ሌላ ክፍፍል ውስጥ ወደኋላ ተመለሰ፣ እና ሲፒዩ HTTP በሚያገለግል እያንዳንዱ ኮር ላይ 100% ደርሷል። ከCloudflare ኋላ ያሉ ጣቢያዎች ለ27 ደቂቃዎች 502 ስህተቶችን መልሰዋል እና ትራፊክ 82% ቀንሷል።
በሲሙሌት ሁነታ ያለው የፋየርዎል ህግ ለምን አሁንም መቋረጥን አስከተለ?
የሲሙሌት ሁነታ ህግ ትራፊክን እንዳያግድ ያቆማል፣ ግን ህጉ አሁንም በእያንዳንዱ ጥያቄ ላይ ይገመገማል። በጁላይ 2፣ 2019 በ13:31 UTC የተቀላቀለው ህግ በሲሙሌት ሁነታ ያለ የጣቢያ-አቋራጭ ስክሪፕት ህግ ነበር፣ ስለዚህ ምንም አላገደም፣ ግን በእያንዳንዱ ጥያቄ ላይ ሰርቷል። የCloudflare ከውድቀት በኋላ የተደረገው ምርመራ እንደሚያመለክተው እሱን የመገምገም ወጪ ሲፒዩውን አሟጧል።
አንድ ህግ በሁለት ሰከንዶች ውስጥ እያንዳንዱን Cloudflare ዳታ ማዕከል እንዴት ሊደርስ ቻለ?
የፋየርዎል ህጎች ሌሎች ስሪቶች ያለፉባቸውን ደረጃ በደረጃ ማሰራጫዎች ዘለሉ። ከውድቀት በኋላ በተደረገው ምርመራ መሰረት፣ አሰራሩ ማንኛውም ህግ በአንድ ጊዜ ዓለም አቀፋዊ እንዲሆን አስችሏል ምክንያቱም ህጎች ህያው ጥቃቶችን ለማቆም ስላሉ ነው። ይህ ህግ ድንገተኛ አልነበረም፣ እና Quicksilver አሁንም በሲአይ ውስጥ ምንም የሲፒዩ ሙከራ ሳይኖር በሁለት ሰከንዶች ውስጥ ወደ 180+ ከተሞች ገፋው።
Cloudflare የተሳሳተውን የፋየርዎል አካል ለማጥፋት 27 ደቂቃ የፈጀበት ለምንድን ነው?
የውስጥ መቆጣጠሪያ ፓኔሉ ከCloudflare Access ኋላ ነበር፣ እሱም ከCloudflare ኋላ ነበር፣ ስለዚህ መቋረጡ ወደ ገዳይ መቀየሪያው የሚወስደውን መንገድ አግዶታል። አንዳንድ ምስክርነቶች ባለመጠቀማቸው ጊዜያቸው አልፎ ነበር፣ እና አልፎ አልፎ የሚደረግ ማለፊያ አምስት ደቂቃ ያህል ፈጅቷል። ዓለም አቀፍ የWAF ማቋረጥ በ14:07 UTC ተተግብሯል፣ እና ትራፊክ በ14:09 እንደገና መደበኛ ነበር።
ቡድኖች ከCloudflare መቋረጥ በኋላ regex ሞተሮችን ወደኋላ መመለስ በጥያቄ-መንገድ ኮድ ውስጥ ማስቀመጥ አለባቸው?
የThe Daily Diff ብይን SHIP IT ነበር፣ ለCloudflare መፍትሄ። የሲፒዩ መከላከያ ተመልሷል፣ 3,868 ህጎች እንደገና ተነበቡ፣ ህጎች ደረጃ በደረጃ ማሰራጫዎች ውስጥ ያልፋሉ፣ እና ሞተሩ ወደ መስመራዊ ጊዜ ዋስትናዎች ወዳለው ይቀየራል። የክስተቱ ተግባራዊ ምክር እንደ ነጥብ-ኮከብ ነጥብ-ኮከብ ያሉ ቅጦችን በእያንዳንዱ ጥያቄ ላይ በሚሰራ ማንኛውም ነገር ውስጥ ማስወገድ እና ገዳይ መቀየሪያውን ከሚቆጣጠረው ስርዓት ውጪ ማድረግ ነው።
የተተረጎመ ግልባጭ
ከዋናው የእንግሊዝኛ ትረካ የተተረጎመ። የሚገኙ ኦዲዮ እና መግለጫ ጽሑፎች በYouTube ቁጥጥር ስር ናቸው።
0:00 አንድ መደበኛ አገላለጽ በአንድ ጊዜ በእያንዳንዱ Cloudflare አገልጋይ ላይ ስራ ይጀምራል፣ እና ለሚቀጥሉት ሃያ ሰባት ደቂቃዎች ከኋላው ያሉት ጣቢያዎች 502 ገጽ ናቸው፣ ይህም ለፋየርዎል፣ በጣም ጥብቅ ሊሆን የሚችል ቅንብር ነው። ጁላይ 2ኛ፣ 2019፣ 13:42 UTC። Cloudflare በሁለት ሰዓታት ውስጥ ይለጥፋል: ጥቃት አይደለም፣ መጥፎ ማሰራጨት ነው፣ የትራፊክ ፍሰት 82 በመቶ ቀንሷል። ከአስር ቀናት በኋላ የቴክኒክ ዋና ዳይሬክተር ጆን ግራሃም-ኩምሚንግ ሙሉውን ከውድቀት በኋላ የተደረገ ምርመራን ያትማሉ፣ regexን ጨምሮ፣ እና Hacker News 698 ነጥብ ይሰጠዋል፣
0:26 ይህም ለአገልግሎት መቋረጥ የቆመ ጭብጨባ ነው። እንዴት እንደሚሆን፣ ለምን እንደሚቻል፣ እና ትክክለኛው ተጠያቂ ማን እንደሆነ። ይህ The Daily Diff፣ ከውድቀት በኋላ የተደረገ ምርመራ ነው። 13:31። የመጎተት ጥያቄ ይቀላቀላል: አንድ አዲስ ፋየርዎል ህግ ከጣቢያ-አቋራጭ ስክሪፕት ማድረግን ለመከላከል፣ በሲሙሌት ሁነታ፣ ስለዚህ ምንም አያግድም። 13:37፣ ሙከራዎች ያልፋሉ፤ አንዳቸውም ሲፒዩ አይለኩም። 13:42፣ ህጉ በሁለት ሰከንዶች ውስጥ ወደ 180 ከተሞች ይላካል። ምክንያቱም የWAF ህጎች ሌሎች ስሪቶች የሚያገኟቸውን የውሻ፣ የአሳማ እና የካናሪ ደረጃዎችን ይዘላሉ።
0:54 13:45፣ የመጀመሪያው ገጽ። 13:49፣ Hacker News ስለሁኔታው ገጽ ክር አለው። ይህም አሁንም ሁሉም ስርዓቶች እየሰሩ እንደሆነ ይናገራል። ህጉ በነጥብ-ኮከብ፣ ነጥብ-ኮከብ፣ እኩል፣ ነጥብ-ኮከብ ያበቃል: ማንኛውም ነገር፣ ከዚያ ማንኛውም ነገር፣ ከዚያ የእኩል ምልክት። PCRE በስግብግብነት ይገምታል፣ ይወድቃል፣ እና በሌሎች ክፍፍሎች ሁሉ ወደኋላ ይመለሳል። x ከ x ጋር እኩል ነው 23 ደረጃዎችን ይወስዳል። ከእኩል በኋላ ሃያ x'ዎች: 555።
1:15 ሃያ x'ዎች፣ ምንም የእኩል ምልክት የለም: ምንም ነገር ለማግኘት 4,067 ደረጃዎች። ይህን በእያንዳንዱ ጥያቄ ላይ ያሂዱ እና እያንዳንዱ ኮር መቶ በመቶ ላይ ይሆናል፣ ምንም ነገር ሳያደርጉ፣ ሙሉ በሙሉ። ሁለት ጠባቂዎች ሊይዙት ይገባ ነበር። በህጎች ላይ ያለው የሲፒዩ ገደብ ከሳምንታት በፊት በስህተት ተወግዷል፣ WAF አነስተኛ ሲፒዩ እንዲጠቀም ለማድረግ በማሰብ በተደረገ መልሶ ማዋቀር። እና አሰራሩ ማንኛውም ህግ የማዘጋጀት ሂደትን እንዲዘል ያስችላል፣ ምክንያቱም ህጎች ህያው ጥቃቶችን ለማቆም ስላሉ ነው፤ ይህ ድንገተኛ አልነበረም፣ እናም ዓለም አቀፋዊ ሆነ።
1:37 14:00፣ WAF ተለይቷል፤ ጥቃት የለም። 14:02፣ አንድ ሰው ዓለም አቀፍ ማቋረጥን ያቀርባል: አንድ አካል፣ ጠፍቷል፣ በዓለም ዙሪያ። መቀየሪያው ከCloudflare Access ኋላ ነው። Cloudflare Access ከCloudflare ኋላ ነው። አንዳንድ ምስክርነቶች ባለመጠቀማቸው ጊዜያቸው አልፎ ነበር፣ ስለዚህ በበይነመረብ ላይ ያለው ፈጣኑ አውታረመረብ ለማንም ሰው ያልተዘጋጀ ማለፊያ ላይ አምስት ደቂቃዎችን ያሳልፋል። 14:07፣ አቁም። 14:09፣ ትራፊክ መደበኛ። git blame: በአንድ ፍጥነት፣ ዓለም አቀፋዊ ማሰራጨት፤ በስህተት ተወግዶ የነበረ የሲፒዩ መከላከያ፤
2:04 የላይኛው ወሰን የሌለው የregex ሞተር። ህጉን የጻፈው መሐንዲስ አይደለም: ከውድቀት በኋላ የተደረገው ምርመራ አስራ አንድ መንስኤዎችን ይዘረዝራል እና ማንም ሰው አይሰይም። የአደጋ ስፋት: 27 ደቂቃዎች፣ 82 በመቶው ትራፊክ፣ በእያንዳንዱ ኮር ላይ 100 በመቶ ሲፒዩ፣ በሁሉም ከተማ። ዳሽቦርዱ እና ኤፒአይው ከተመሳሳይ ጠርዝ ኋላ ናቸው፣ ስለዚህ ደንበኞች እንኳን ማጥፋት አይችሉም። Hacker News፣ ከውድቀት በኋላ የተደረገው ምርመራ ስር: አንድ ችግር ነበራቸው፣ መደበኛ አገላለጽ ተጠቅመዋል፣ አሁን ደግሞ ሁለት አላቸው። የድሮ ቀልድ። አሁንም ይሰራል (compiles)።
2:28 ብይን፣ ከውድቀት በኋላ የተደረገ ምርመራ: ship it። የሲፒዩ መከላከያ ተመልሷል፣ ሁሉም 3,868 ህጎች በእጅ እንደገና ተነበቡ፣ ህጎች በማዘጋጀት ሂደት ውስጥ ያልፋሉ፣ እና ሞተሩ ወደ መስመራዊ ጊዜ ዋስትናዎች ወዳለው ይቀየራል፣ በኬን ቶምፕሰን በ1968 የታተመ። ሰኞ: በእያንዳንዱ ጥያቄ ላይ በሚሰራ ማንኛውም ነገር ውስጥ ምንም ነጥብ-ኮከብ ነጥብ-ኮከብ የለም፣ እና ገዳይ መቀየሪያውን ከሚገድለው ነገር ውጪ ያድርጉት። ስለሱ ማውራት የማይፈቀድልዎትን ክስተት ይላኩልኝ፣ በአስተያየቶች ውስጥ፣ ወይም በ the daily diff dot dev ላይ።
2:53 እና የዛሬው ልዩነት ይሄ ነው። እኔ ናይኮ ነኝ ከAxrisi። በኃላፊነት ስሜት ያዋህዱ።
ምንጮች
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



