정규 표현식 하나가 Cloudflare를 27분 동안 중단시켰습니다.
2019년 7월 2일 13:42 UTC: Cloudflare 웹 애플리케이션 방화벽의 새로운 규칙 하나가 약 2초 만에 180개 이상의 도시에 적용됩니다.
2019년 7월 2일 13:42 UTC: Cloudflare 웹 애플리케이션 방화벽의 새로운 규칙 하나가 약 2초 만에 180개 이상의 도시에 적용됩니다. 시뮬레이션 모드의 XSS 규칙이므로 아무것도 차단하지 않지만, 모든 요청에서 실행되며 .*(?:.*=.*)로 끝납니다. PCRE는 역추적하고, HTTP를 처리하는 모든 CPU 코어가 100%에 도달하며, Cloudflare 프록시를 사용하는 모든 사이트가 27분 동안 502를 반환합니다. 트래픽은 82% 감소합니다. 킬 스위치는 Cloudflare 뒤에 있는 Cloudflare Access 뒤에 있습니다. Cloudflare 자체 보고서의 사후 분석: CPU를 절약하기 위해 몇 주 전에 리팩토링으로 제거된 CPU 가드, 모든 규칙이 스테이징을 건너뛸 수 있도록 한 절차, 복잡성 보장이 없는 엔진, 11가지 원인 및 7가지 수정 사항. 수정 사항에 대한 평결: SHIP IT.
이 동영상에서 다루는 내용
- 13:31–13:42 UTC: PR 병합, CI 녹색 (CPU 테스트 없음), Quicksilver가 180개 이상의 도시에 규칙 푸시; WAF 규칙은 DOG → PIG → Canary 단계를 건너뜀
- 13:45–14:07: 첫 페이지; 전 세계 CPU 100%, 트래픽 -82%, 모든 곳에서 502; 내부 제어판은 다운된 Cloudflare Access 뒤에 있음; 일부 자격 증명이 만료됨; 거의 사용하지 않는 우회
- 14:07–14:09: 전역 WAF 종료; 27분 후 트래픽 및 CPU 정상; 14:52 WAF는 규칙을 제외하고 다시 작동
- 7월 2일 (15:50 UTC) 및 7월 12일: Cloudflare는 당일 메모와 전체 사후 분석을 게시; CPU 가드 재추가, 3,868개 규칙 재검토, 단계별 롤아웃, 선형 시간 정규 표현식 엔진으로 전환
자주 묻는 질문
단일 정규 표현식이 어떻게 전역 네트워크를 중단시킬 수 있었습니까?
무제한 역추적을 가진 정규 표현식은 이를 평가하는 모든 CPU 코어를 고정시킬 수 있습니다. Cloudflare의 사후 분석에 따르면, 새로운 방화벽 규칙이 .*(?:.*=.*)로 끝났고, PCRE가 다른 모든 분할을 역추적했으며, HTTP를 처리하는 모든 코어에서 CPU가 100%에 도달했습니다. Cloudflare 뒤의 사이트들은 27분 동안 502 오류를 반환했고 트래픽은 82% 감소했습니다.
시뮬레이션 모드의 방화벽 규칙이 왜 여전히 중단을 일으켰습니까?
시뮬레이션 모드는 규칙이 트래픽을 차단하는 것을 막지만, 규칙은 여전히 모든 요청에서 평가됩니다. 2019년 7월 2일 13:31 UTC에 병합된 규칙은 시뮬레이션 모드의 크로스 사이트 스크립팅 규칙이었으므로 아무것도 차단하지 않았지만 모든 요청에서 실행되었습니다. Cloudflare의 사후 분석에 따르면 이를 평가하는 비용이 CPU를 고갈시켰습니다.
하나의 규칙이 어떻게 2초 만에 모든 Cloudflare 데이터 센터에 도달했습니까?
방화벽 규칙은 다른 릴리스가 거치는 단계별 롤아웃을 건너뛰었습니다. 사후 분석에 따르면, 규칙은 실시간 공격을 막기 위해 존재하기 때문에 이 절차는 모든 규칙이 한 번에 전 세계적으로 적용될 수 있도록 했습니다. 이 규칙은 긴급 상황이 아니었지만, Quicksilver는 여전히 CI에 CPU 테스트 없이 약 2초 만에 180개 이상의 도시에 이를 푸시했습니다.
Cloudflare가 결함 있는 방화벽 구성 요소를 끄는 데 27분이 걸린 이유는 무엇입니까?
내부 제어판은 Cloudflare 뒤에 있는 Cloudflare Access 뒤에 있었으므로, 중단으로 인해 킬 스위치로 가는 길이 막혔습니다. 일부 자격 증명이 사용하지 않아 만료되었고, 거의 사용하지 않은 우회는 약 5분이 걸렸습니다. 전역 WAF 종료는 14:07 UTC에 적용되었고, 14:09에 트래픽은 다시 정상으로 돌아왔습니다.
Cloudflare 중단 이후에도 팀은 요청 경로 코드에 역추적 기능이 있는 정규 표현식 엔진을 유지해야 합니까?
The Daily Diff의 평결은 Cloudflare의 수정 사항에 대해 SHIP IT이었습니다. CPU 가드가 복원되었고, 3,868개의 규칙이 다시 읽혔으며, 규칙은 단계별 롤아웃을 거치고, 엔진은 선형 시간 보장이 있는 것으로 전환됩니다. 이 에피소드의 실질적인 조언은 모든 요청에서 실행되는 모든 것에서 점-별표 점-별표와 같은 패턴을 피하고, 킬 스위치를 자신이 제어하는 시스템에서 분리해 두는 것입니다.
번역된 스크립트
원래 영어 내레이션에서 번역되었습니다. 사용 가능한 오디오 및 캡션은 YouTube에서 제어합니다.
0:00 하나의 정규 표현식이 모든 Cloudflare 서버에서 동시에 적용되고, 다음 27분 동안 그 뒤의 사이트들은 502 페이지가 됩니다. 이는 방화벽에게는 가장 엄격한 설정입니다. 2019년 7월 2일 13:42 UTC. Cloudflare는 두 시간 안에 게시합니다: 공격이 아니라 잘못된 배포, 트래픽은 82% 감소했습니다. 10일 후 CTO John Graham-Cumming은 전체 사후 분석을 게시합니다, 정규 표현식을 포함하여, 해커 뉴스는 698점을 줍니다,
0:26 이는 정전 사태에 대한 기립 박수입니다. 어떻게 발생하고, 왜 가능했으며, 실제로 누가 비난을 받는가. 여기는 The Daily Diff, 사후 분석입니다. 13:31. 풀 리퀘스트가 병합됩니다: 크로스 사이트 스크립팅에 대한 하나의 새로운 방화벽 규칙, 시뮬레이션 모드에서는 아무것도 차단하지 않습니다. 13:37, 테스트 통과; CPU 측정은 없습니다. 13:42, 규칙이 2초 만에 180개 도시에 배포됩니다, WAF 규칙은 다른 릴리스가 거치는 dog, pig, canary 단계를 건너뛰기 때문입니다.
0:54 13:45, 첫 페이지가 나타납니다. 13:49, 해커 뉴스는 상태 페이지에 대한 스레드를 가지고 있습니다, 여전히 모든 시스템이 작동 중이라고 표시됩니다. 규칙은 점-별표, 점-별표, 같음, 점-별표로 끝납니다: 무엇이든, 그 다음 무엇이든, 그 다음 등호. PCRE는 탐욕적으로 추측하고, 실패하고, 다른 모든 분할을 통해 역추적합니다. x는 x와 같습니다는 23단계가 걸립니다. 등호 뒤에 20개의 x: 555.
1:15 20개의 x, 등호 없음: 아무것도 찾지 못하는 데 4,067단계. 모든 요청과 모든 코어에서 그것을 실행하면 모든 코어가 100%에 도달하며, 아무것도 하지 않고, 철저히. 두 명의 경비원이 그것을 잡았어야 합니다. 규칙에 대한 CPU 제한은 몇 주 전에 실수로 제거되었습니다, WAF가 CPU를 덜 사용하도록 하기 위한 리팩토링에서. 그리고 이 절차는 어떤 규칙이든 스테이징을 건너뛸 수 있도록 합니다. 왜냐하면 규칙은 실시간 공격을 막기 위해 존재하기 때문입니다. 이것은 긴급 상황이 아니었지만 어쨌든 전 세계적으로 적용되었습니다.
1:37 14:00, WAF가 확인됩니다; 공격이 아닙니다. 14:02, 누군가 전역 종료를 제안합니다: 하나의 구성 요소, 전 세계적으로 끄는 것입니다. 스위치는 Cloudflare Access 뒤에 있습니다. Cloudflare Access는 Cloudflare 뒤에 있습니다. 일부 자격 증명이 사용하지 않아 만료되었으므로, 인터넷에서 가장 빠른 네트워크는 아무도 연습하지 않은 우회에 5분을 소비합니다. 14:07, 종료. 14:09, 트래픽 정상. git blame: 한 가지 속도로 전 세계적으로 배포; 실수로 리팩토링되어 사라진 CPU 가드;
2:04 상한선이 없는 정규 표현식 엔진. 규칙을 작성한 엔지니어가 아닙니다: 사후 분석은 11가지 원인을 나열하고 아무도 지명하지 않습니다. 피해 범위: 27분, 트래픽의 82%, 모든 도시의 모든 코어에서 CPU 100%. 대시보드와 API는 동일한 에지 뒤에 있으므로 고객은 전환할 수도 없습니다. 사후 분석 아래 해커 뉴스: 그들은 하나의 문제가 있었고, 정규 표현식을 사용했고, 이제 두 가지 문제가 있습니다. 오래된 농담입니다. 여전히 컴파일됩니다.
2:28 평결, 사후 분석: SHIP IT. CPU 가드가 복원되었고, 3,868개 규칙이 수동으로 다시 읽히며, 규칙은 스테이징을 거치고, 엔진은 1968년 켄 톰슨이 발표한 선형 시간 보장이 있는 것으로 전환됩니다. 월요일: 요청당 실행되는 모든 것에는 점-별표 점-별표가 없으며, 킬 스위치는 자신이 죽이는 것에서 떨어져 있어야 합니다. 아직 이야기할 수 없는 사건을 저에게 보내주세요, 댓글이나 daily diff dot dev로. 그리고 오늘의 차이점입니다.
2:53 저는 Axrisi의 Niko입니다. 책임감 있게 병합하세요. 책임감 있게 병합하세요.
출처
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



