+− THE DAILY DIFFdev & AI news
SHIP IT

Một biểu thức chính quy đánh sập Cloudflare. 27 phút.

Ngày 2 tháng 7 năm 2019, 13:42 UTC: một quy tắc mới cho Tường lửa ứng dụng web của Cloudflare được triển khai trực tiếp tại hơn 180 thành phố trong khoảng hai giây.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Ngày 2 tháng 7 năm 2019, 13:42 UTC: một quy tắc mới cho Tường lửa ứng dụng web của Cloudflare được triển khai trực tiếp tại hơn 180 thành phố trong khoảng hai giây. Đó là một quy tắc XSS ở chế độ mô phỏng, vì vậy nó không chặn gì, nhưng nó vẫn chạy trên mọi yêu cầu và kết thúc bằng .*(?:.*=.*). PCRE backtrack, mỗi lõi CPU phục vụ các yêu cầu HTTP đạt 100 %, và mọi trang web được Cloudflare ủy quyền trả về 502 trong 27 phút; lưu lượng truy cập giảm 82 %. Công tắc ngắt nằm sau Cloudflare Access, mà Cloudflare Access lại nằm sau Cloudflare. Báo cáo sự cố, từ bài viết của Cloudflare: bộ bảo vệ CPU đã bị loại bỏ vài tuần trước đó trong một lần tái cấu trúc nhằm tiết kiệm CPU, quy trình cho phép mọi quy tắc bỏ qua giai đoạn thử nghiệm, công cụ không có đảm bảo độ phức tạp, 11 nguyên nhân và 7 cách khắc phục. Phán quyết về cách khắc phục: SHIP IT.

Đọc phiên bản viết (tiếng Anh) ↗

Nội dung video này đề cập

  • 13:31–13:42 UTC: PR được hợp nhất, CI xanh (không kiểm tra CPU), Quicksilver đẩy quy tắc đến hơn 180 thành phố; các quy tắc WAF bỏ qua các giai đoạn DOG → PIG → Canary
  • 13:45–14:07: trang đầu tiên; CPU 100 % trên toàn thế giới, lưu lượng truy cập −82 %, 502 ở khắp mọi nơi; bảng điều khiển nội bộ nằm sau Cloudflare Access, đang bị sập; một số thông tin đăng nhập đã hết hạn; một lối tắt ít khi được sử dụng
  • 14:07–14:09: dừng WAF toàn cầu; lưu lượng truy cập và CPU bình thường sau 27 phút; 14:52 WAF hoạt động trở lại trừ quy tắc đó
  • Ngày 2 tháng 7 (15:50 UTC) và ngày 12 tháng 7: Cloudflare xuất bản ghi chú cùng ngày và báo cáo sự cố đầy đủ; bộ bảo vệ CPU được thêm lại, 3.868 quy tắc được đọc lại, triển khai theo từng giai đoạn, chuyển sang công cụ biểu thức chính quy thời gian tuyến tính

Câu hỏi và trả lời

Làm thế nào một biểu thức chính quy duy nhất có thể đánh sập một mạng lưới toàn cầu?

Một biểu thức chính quy với khả năng backtrack không giới hạn có thể làm kẹt mọi lõi CPU đánh giá nó. Theo báo cáo sự cố của Cloudflare, một quy tắc tường lửa mới kết thúc bằng .*(?:.*=.*), PCRE backtrack qua mọi phân tách khác, và CPU đạt 100 % trên mọi lõi phục vụ HTTP. Các trang web sau Cloudflare trả về lỗi 502 trong 27 phút và lưu lượng truy cập giảm 82 %.

blog.cloudflare.com · blog.cloudflare.com

Tại sao một quy tắc tường lửa ở chế độ mô phỏng vẫn gây ra sự cố mất điện?

Chế độ mô phỏng ngăn quy tắc chặn lưu lượng truy cập, nhưng quy tắc vẫn được đánh giá trên mọi yêu cầu. Quy tắc được hợp nhất vào lúc 13:31 UTC ngày 2 tháng 7 năm 2019 là một quy tắc cross-site scripting ở chế độ mô phỏng, vì vậy nó không chặn gì, tuy nhiên nó vẫn chạy trên mọi yêu cầu. Báo cáo sự cố của Cloudflare nói rằng chi phí đánh giá nó đã làm cạn kiệt CPU.

blog.cloudflare.com

Làm thế nào một quy tắc lại đến được mọi trung tâm dữ liệu của Cloudflare trong hai giây?

Các quy tắc tường lửa đã bỏ qua quá trình triển khai theo giai đoạn mà các bản phát hành khác phải trải qua. Theo báo cáo sự cố, quy trình này cho phép mọi quy tắc triển khai toàn cầu cùng lúc vì các quy tắc tồn tại để ngăn chặn các cuộc tấn công trực tiếp. Quy tắc này không phải là một trường hợp khẩn cấp, và Quicksilver vẫn đẩy nó đến hơn 180 thành phố trong khoảng hai giây, mà không có kiểm tra CPU trong CI để phát hiện nó.

blog.cloudflare.com · blog.cloudflare.com

Tại sao Cloudflare mất 27 phút để tắt thành phần tường lửa bị lỗi?

Bảng điều khiển nội bộ nằm sau Cloudflare Access, mà Cloudflare Access lại nằm sau Cloudflare, vì vậy sự cố mất điện đã chặn đường đến công tắc ngắt. Một số thông tin đăng nhập đã hết hạn do không sử dụng, và một lối tắt hiếm khi được sử dụng mất khoảng năm phút. Việc dừng WAF toàn cầu đã được áp dụng vào lúc 14:07 UTC, và lưu lượng truy cập trở lại bình thường vào lúc 14:09.

blog.cloudflare.com · x.com

Các nhóm có nên giữ các công cụ biểu thức chính quy có backtrack trong mã đường dẫn yêu cầu sau sự cố mất điện của Cloudflare không?

Phán quyết của The Daily Diff là SHIP IT, đối với cách khắc phục của Cloudflare. Bộ bảo vệ CPU đã được khôi phục, 3.868 quy tắc đã được đọc lại, các quy tắc được triển khai theo từng giai đoạn, và công cụ chuyển sang một công cụ có đảm bảo thời gian tuyến tính. Lời khuyên thực tế của tập này là tránh các mẫu như dot-star dot-star trong bất cứ thứ gì chạy trên mỗi yêu cầu và giữ công tắc ngắt tránh xa hệ thống nó kiểm soát.

blog.cloudflare.com

Bản ghi đã dịch

Được dịch từ lời tường thuật tiếng Anh gốc. Âm thanh và phụ đề có sẵn được điều khiển bởi YouTube.

0:00 Một biểu thức chính quy được triển khai trực tiếp trên mọi máy chủ Cloudflare cùng lúc, và trong hai mươi bảy phút tiếp theo, các trang web đứng sau nó là một trang 502, mà, đối với một tường lửa, đó là cài đặt nghiêm ngặt nhất có thể. Ngày 2 tháng 7 năm 2019, 13:42 UTC. Cloudflare đăng bài trong vòng hai giờ: không phải là một cuộc tấn công, mà là một triển khai lỗi, lưu lượng truy cập giảm 82 phần trăm. Mười ngày sau, CTO John Graham-Cumming xuất bản báo cáo sự cố đầy đủ, bao gồm biểu thức chính quy, và Hacker News cho nó 698 điểm,

0:26 mà đối với một sự cố mất điện là một sự hoan nghênh nhiệt liệt. Nó xảy ra như thế nào, tại sao nó có thể xảy ra, và ai thực sự phải chịu trách nhiệm. Đây là The Daily Diff, báo cáo sự cố. 13:31. Một yêu cầu kéo được hợp nhất: một quy tắc tường lửa mới chống lại script chéo trang ở chế độ mô phỏng, vì vậy nó không chặn gì. 13:37, các bài kiểm tra vượt qua; không bài nào đo lường CPU. 13:42, quy tắc được chuyển đến 180 thành phố trong hai giây, bởi vì các quy tắc WAF bỏ qua các giai đoạn dog, pig và canary mà các bản phát hành khác có.

0:54 13:45, trang đầu tiên. 13:49, Hacker News có một chủ đề về trang trạng thái, mà vẫn nói rằng tất cả các hệ thống đang hoạt động. Quy tắc kết thúc bằng dot-star, dot-star, equals, dot-star: bất cứ thứ gì, sau đó là bất cứ thứ gì, sau đó là một dấu bằng. PCRE đoán tham lam, thất bại, và backtrack qua mọi phân tách khác. x bằng x mất 23 bước. Hai mươi x sau dấu bằng: 555.

1:15 Hai mươi x, không có dấu bằng: 4.067 bước để không tìm thấy gì. Chạy cái đó trên mọi yêu cầu và mọi lõi đều ở mức một trăm phần trăm, không làm gì, một cách triệt để. Hai bảo vệ lẽ ra phải bắt được nó. Giới hạn CPU trên các quy tắc đã bị loại bỏ do nhầm lẫn vài tuần trước đó, trong một lần tái cấu trúc nhằm mục đích làm cho WAF sử dụng ít CPU hơn. Và quy trình cho phép mọi quy tắc bỏ qua giai đoạn thử nghiệm, bởi vì các quy tắc tồn tại để ngăn chặn các cuộc tấn công trực tiếp; cái này không phải là một trường hợp khẩn cấp, và nó vẫn lan rộng toàn cầu.

1:37 14:00, WAF được xác định; không có cuộc tấn công nào. 14:02, ai đó đề xuất dừng toàn cầu: một thành phần, tắt, trên toàn thế giới. Công tắc nằm sau Cloudflare Access. Cloudflare Access nằm sau Cloudflare. Một số thông tin đăng nhập đã hết hạn do không sử dụng, vì vậy mạng nhanh nhất trên internet dành năm phút cho một lối tắt mà không ai luyện tập. 14:07, tắt. 14:09, lưu lượng truy cập bình thường. git blame: một lần triển khai với một tốc độ, toàn cầu; một bộ bảo vệ CPU bị tái cấu trúc đi do

2:04 tai nạn; một công cụ biểu thức chính quy không có giới hạn trên. Không phải kỹ sư đã viết quy tắc: báo cáo sự cố liệt kê mười một nguyên nhân và không nêu tên ai. Bán kính ảnh hưởng: 27 phút, 82 phần trăm lưu lượng truy cập, 100 phần trăm CPU trên mọi lõi, ở mọi thành phố. Bảng điều khiển và API nằm sau cùng một cạnh, vì vậy khách hàng thậm chí không thể tắt nó. Hacker News, dưới báo cáo sự cố: họ có một vấn đề, sử dụng một biểu thức chính quy, bây giờ họ có hai. Trò đùa cũ. Vẫn biên dịch được.

2:28 Phán quyết, báo cáo sự cố: ship nó. Bộ bảo vệ CPU đã trở lại, tất cả 3.868 quy tắc được đọc thủ công, các quy tắc đi qua giai đoạn thử nghiệm, và công cụ chuyển sang một công cụ có đảm bảo thời gian tuyến tính, được Ken Thompson xuất bản vào năm 1968. Thứ Hai: không có dot-star dot-star trong bất cứ thứ gì chạy trên mỗi yêu cầu, và giữ công tắc ngắt tránh xa thứ nó giết. Gửi cho tôi sự cố mà bạn vẫn chưa được phép nói về, trong phần bình luận, hoặc tại the daily diff dot dev.

2:53 Và đó là The Daily Diff của ngày hôm nay. Tôi là Niko từ Axrisi. Hợp nhất một cách có trách nhiệm.

Nguồn

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Video liên quan