Нэг регулар экспрешн Cloudflare-ийг унагав. 27 минут.
2019 оны 7-р сарын 2, 13:42 UTC: Cloudflare-ийн Вэб Аппликейшн Галт Хананы нэг шинэ дүрэм 180 гаруй хотод хоёр секунд орчим хугацаанд идэвхжсэн.
2019 оны 7-р сарын 2, 13:42 UTC: Cloudflare-ийн Вэб Аппликейшн Галт Хананы нэг шинэ дүрэм 180 гаруй хотод хоёр секунд орчим хугацаанд идэвхжсэн. Энэ нь "simulate" горимтой XSS дүрэм байсан тул юу ч хаагаагүй ч, хүсэлт бүр дээр ажиллаж, .*(?:.*=.*) гэж төгссөн. PCRE буцааж хөөж, HTTP-д үйлчилдэг CPU-ийн цөм бүр 100% ажиллаж, Cloudflare-ийн проксигоор дамждаг сайт бүр 27 минутын турш 502 алдааг буцаажээ; траффик 82%-иар буурсан. Унтраах товчлуур нь Cloudflare Access-ийн ард, Cloudflare-ийн ард байрладаг. Cloudflare-ийн өөрийн бичсэн тайлангаас дараах дүгнэлт гарчээ: CPU-г хэмнэх зорилгоор хэдэн долоо хоногийн өмнө "refactor" хийхдээ CPU хамгаалалтыг авч хаясан, ямар ч дүрмийг шалгах үе шатыг алгасах боломжийг олгодог журам, нарийн төвөгтэй байдлын баталгаагүй хөдөлгүүр, 11 шалтгаан, 7 засвар. Засварын тухай дүгнэлт: SHIP IT.
Бичмэл хувилбарыг унших (Англи) ↗
Энэ видео юуг хамардаг
- 13:31–13:42 UTC: PR нийлүүлэгдэж, CI ногоон (CPU тестгүй), Quicksilver дүрмийг 180+ хотод түгээв; WAF дүрмүүд DOG → PIG → Canary үе шатуудыг алгассан
- 13:45–14:07: эхний хуудас; CPU дэлхий даяар 100%, траффик -82%, хаа сайгүй 502 алдаа; дотоод удирдлагын самбар Cloudflare Access-ийн ард байрладаг бөгөөд энэ нь унасан; зарим нэвтрэх мэдээлэл хугацаа нь дууссан; ховор дадлага хийсэн тойрох арга
- 14:07–14:09: дэлхийн хэмжээнд WAF-ийг зогсоов; 27 минутын дараа траффик, CPU хэвийн болсон; 14:52 WAF дүрэмгүйгээр эргэн ирэв
- 7-р сарын 2 (15:50 UTC) ба 7-р сарын 12: Cloudflare тухайн өдрийн тэмдэглэл болон бүрэн постмортемыг нийтлэв; CPU хамгаалалтыг дахин нэмсэн, 3,868 дүрмийг дахин уншиж, шат дараатай нэвтрүүлж, шугаман цагийн регулар экспрешн хөдөлгүүр рүү шилжсэн
Түгээмэл асуултууд
Нэг регулар экспрешн хэрхэн дэлхийн сүлжээг унагах боломжтой вэ?
Хязгааргүй буцааж хөөх чадвартай регулар экспрешн нь үүнийг үнэлдэг CPU-ийн цөм бүрийг зогсоож чадна. Cloudflare-ийн постмортемын дагуу, шинэ галт хананы дүрэм .*(?:.*=.*) гэж төгсөж, PCRE бусад бүх хуваалтуудаар буцааж хөөж, HTTP-д үйлчилдэг цөм бүр дээр CPU 100% ажилласан. Cloudflare-ийн ард байгаа сайтууд 27 минутын турш 502 алдааг буцааж, траффик 82%-иар буурсан.
Яагаад "simulate" горимтой галт хананы дүрэм тасалдал үүсгэсэн бэ?
Simulate горим нь дүрмийг траффик хаахаас сэргийлдэг боловч дүрэм нь хүсэлт бүр дээр үнэлэгддэг хэвээр байна. 2019 оны 7-р сарын 2-ны 13:31 UTC-т нийлүүлэгдсэн дүрэм нь simulate горимтой cross-site scripting дүрэм байсан тул юу ч хаагаагүй ч, хүсэлт бүр дээр ажилласан. Cloudflare-ийн постмортемд үүнийг үнэлэх зардал CPU-г шавхсан гэж дурджээ.
Нэг дүрэм хоёр секундын дотор Cloudflare-ийн бүх дата төвд хэрхэн хүрсэн бэ?
Галт хананы дүрмүүд бусад хувилбаруудын дамждаг шат дараатай түгээлтийг алгассан. Постмортемын дагуу, дүрмүүд нь амьд халдлагыг зогсоох зорилготой байдаг тул журам нь ямар ч дүрмийг нэгэн зэрэг дэлхий даяар түгээх боломжийг олгосон. Энэ дүрэм онцгой байдал биш байсан ч, Quicksilver үүнийг CI-д CPU тестгүйгээр 180+ хотод хоёр секунд орчим хугацаанд түгээсэн.
Cloudflare-д алдаатай галт хананы бүрэлдэхүүн хэсгийг унтраахад яагаад 27 минут зарцуулсан бэ?
Дотоод удирдлагын самбар Cloudflare Access-ийн ард, Cloudflare-ийн ард байрладаг байсан тул тасалдал нь унтраах товчлуур руу орох замыг хаажээ. Зарим нэвтрэх мэдээлэл ашиглагдаагүйгээс хугацаа нь дууссан бөгөөд ховор дадлага хийсэн тойрох арга таван минут орчим хугацаа зарцуулсан. Дэлхийн хэмжээнд WAF-ийг зогсоохыг 14:07 UTC-т хэрэглэсэн бөгөөд траффик 14:09-т дахин хэвийн болсон.
Cloudflare-ийн тасалдлын дараа багууд хүсэлт-замын код дахь буцааж хөөх чадвартай регулар экспрешн хөдөлгүүрийг хадгалах ёстой юу?
The Daily Diff-ийн дүгнэлт нь Cloudflare-ийн засварын хувьд SHIP IT байсан. CPU хамгаалалтыг сэргээсэн, 3,868 дүрмийг дахин уншсан, дүрмүүд шат дараатай түгээлтийг дамждаг болсон, мөн хөдөлгүүр нь шугаман цагийн баталгаатай болж өөрчлөгдсөн. Энэ үйл явдлын практик зөвлөгөө бол хүсэлт бүр дээр ажилладаг юунд ч цэг-од цэг-од гэх мэт хэв маягаас зайлсхийх, мөн унтраах товчлуурыг хянадаг системээс нь салгаж байх явдал юм.
Орчуулсан бичлэг
Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.
0:00 Нэг регулар экспрешн Cloudflare-ийн сервер бүр дээр нэгэн зэрэг идэвхжсэн, мөн дараагийн хорин долоон минутын турш түүний ард байгаа сайтууд 502 хуудас байлаа, энэ нь галт хананы хувьд хамгийн хатуу тохиргоо юм. 2019 оны 7-р сарын 2, 13:42 UTC. Cloudflare хоёр цагийн дотор нийтлэв: халдлага биш, буруу байршуулалт, траффик 82 хувиар буурсан. Арван өдрийн дараа CTO Жон Грэхэм-Камминг бүрэн постмортемыг нийтлэв, регулар экспрешнийг багтаасан бөгөөд Hacker News үүнд 698 оноо өгөв,
0:26 энэ нь тасалдлын хувьд алга ташилт юм. Энэ нь хэрхэн болсон, яагаад боломжтой байсан, мөн хэн үнэндээ буруутай вэ. Энэ бол The Daily Diff, постмортем. 13:31. Нэг татах хүсэлт нийлүүлэгдэв: сайтууд хоорондын скриптээс хамгаалах шинэ галт хананы дүрэм, simulate горимд байгаа тул юу ч хаагаагүй. 13:37, тестүүд давсан; CPU-г хэн ч хэмжээгүй. 13:42, дүрэм 180 хотод хоёр секундын дотор түгээгдэв, учир нь WAF дүрмүүд бусад хувилбаруудын авдаг DOG, PIG, CANARY үе шатуудыг алгассан.
0:54 13:45, эхний хуудас. 13:49, Hacker News-д статусын хуудасны талаарх хэлэлцүүлэг эхлэв, энэ нь одоо ч гэсэн бүх систем ажиллаж байна гэсэн байв. Дүрэм нь цэг-од, цэг-од, тэнцүү, цэг-од гэж төгсөнө: юу ч байсан, дараа нь юу ч байсан, дараа нь тэнцүү тэмдэг. PCRE шунахайгаар таамаглаж, бүтэлгүйтэж, бусад бүх хуваалтаар буцааж хөөдөг. x тэнцүү x гэдэг нь 23 алхам болно. Тэнцүү тэмдгийн дараах хорин x: 555.
1:15 Хорин x, тэнцүү тэмдэггүй: юу ч олохгүй байхад 4,067 алхам. Үүнийг хүсэлт бүр дээр ажиллуулахад цөм бүр зуун хувь ажилладаг, юу ч хийхгүй, гүйцэд. Хоёр хамгаалагч үүнийг барих ёстой байсан. Дүрмийн CPU хязгаарлалтыг хэдэн долоо хоногийн өмнө алдаагаар авч хаясан, WAF-ийг бага CPU ашиглах зорилготой "refactor"-ын үед. Мөн журам нь ямар ч дүрмийг шалгах үе шатыг алгасах боломжийг олгодог, учир нь дүрмүүд нь амьд халдлагыг зогсоох зорилготой байдаг; энэ нь онцгой байдал биш байсан, гэхдээ дэлхий даяар түгээгдсэн.
1:37 14:00, WAF тодорхойлогдсон; халдлага биш. 14:02, хэн нэгэн дэлхийн хэмжээнд зогсоохыг санал болгов: нэг бүрэлдэхүүн хэсэг, унтраах, дэлхий даяар. Унтраах товчлуур нь Cloudflare Access-ийн ард байрладаг. Cloudflare Access нь Cloudflare-ийн ард байрладаг. Зарим нэвтрэх мэдээлэл ашиглагдаагүйгээс хугацаа нь дууссан тул интернет дэх хамгийн хурдан сүлжээ таван минутын турш хэн ч дадлага хийгээгүй тойрох арга дээр зарцуулсан. 14:07, зогсоо. 14:09, траффик хэвийн болсон. git blame: нэг хурдтай, дэлхийн хэмжээний түгээлт; ослоор "refactor" хийгдсэн CPU хамгаалалт;
2:04 дээд хязгааргүй регулар экспрешн хөдөлгүүр. Дүрмийг бичсэн инженер биш: постмортемд арван нэгэн шалтгаан жагсааж, хэнийг ч нэрлээгүй. Нөлөөллийн талбай: 27 минут, траффикийн 82 хувь, хот бүрийн цөм бүр дээр 100 хувийн CPU. Удирдлагын самбар болон API нь ижил ирмэгийн ард байрладаг тул хэрэглэгчид бүр унтрааж ч чадахгүй. Hacker News, постмортемын дор: тэдэнд нэг асуудал байсан, регулар экспрешн ашигласан, одоо тэдэнд хоёр асуудал байна. Хуучин хошигнол. Одоо ч гэсэн ажиллаж байна.
2:28 Дүгнэлт, постмортем: SHIP IT. CPU хамгаалалт буцаж ирсэн, бүх 3,868 дүрмийг гараар дахин уншсан, дүрмүүд шалгах үе шатыг дамждаг болсон, мөн хөдөлгүүр нь шугаман цагийн баталгаатай хөдөлгүүр рүү шилжсэн, Кен Томпсон 1968 онд нийтэлсэн. Даваа гариг: хүсэлт бүр дээр ажилладаг юунд ч цэг-од цэг-од байхгүй, мөн унтраах товчлуурыг өөрөө унтраах зүйлээс нь салгаж бай. Таны ярихыг зөвшөөрөөгүй байгаа үйл явдлыг надад илгээнэ үү, коммент хэсэгт, эсвэл the daily diff dot dev хаягаар.
2:53 Тэгээд өнөөдрийн "diff" энэ байна. Би Axrisi-ийн Нико байна. Хариуцлагатайгаар нэгтгээрэй.
Эх сурвалжууд
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



