+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook이 인터넷에서 스스로를 삭제했습니다. 6시간 동안.

Facebook이 인터넷에서 자체 주소를 삭제하고, 엔지니어들이 이를 복구하기 위해 도착했을 때, 뱃지 리더기 또한 작동하지 않았는데, 이는 뱃지 리더기가 Facebook에 연결되어 있었기 때문입니다.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook이 인터넷에서 자체 주소를 삭제하고, 엔지니어들이 이를 복구하기 위해 도착했을 때, 뱃지 리더기 또한 작동하지 않았는데, 이는 뱃지 리더기가 Facebook에 연결되어 있었기 때문입니다. 2021년 10월 4일 15:40 UTC: 일상적인 백본 유지보수 명령이 Facebook 데이터 센터 간의 모든 링크를 중단시켰습니다. 이를 차단하도록 구축된 감사 도구에 버그가 있었고, 데이터 센터에 도달할 수 없던 Facebook의 네임 서버는 자체 BGP 경로를 의도적으로 철회했습니다. 그 결과 facebook.com, Instagram, WhatsApp 및 Messenger가 거의 6시간 동안 DNS에서 사라졌습니다. 내부 도구, 대역 외 액세스 및 사무실 뱃지가 동일한 네트워크를 사용했기 때문에, 복구를 위해서는 랙에 사람이 직접 가야 했습니다.

서면판 읽기 (영어) ↗

이 동영상에서 다루는 내용

  • Facebook이 자체 주소를 삭제했습니다
  • 출처: Meta Engineering, Cloudflare, Hacker News
  • 이것은 The Daily Diff, 사후 분석입니다
  • 타임라인: 15:39 명령 → 15:40 철회 → 21:20 복구
  • 메커니즘: 당신을 삭제하는 상태 확인, 30배 DNS 폭풍, 문

자주 묻는 질문

2021년 10월 페이스북, 인스타그램, 왓츠앱 서비스 중단의 원인은 무엇이었나요?

정기적인 백본 유지보수 명령이 페이스북 데이터 센터 간의 모든 링크를 다운시켰고, 그러한 명령을 차단하도록 고안된 감사 도구에 버그가 있었습니다. Meta의 엔지니어링 보고서에 따르면, 이로 인해 데이터 센터들이 서로 연결이 끊어졌습니다. UTC 기준 15:40에 Cloudflare는 페이스북 네임 서버로 가는 경로가 철회된 것을 확인했고, facebook.com은 21:20에 다시 해결될 때까지 SERVFAIL을 반환했습니다.

이 부분을 시청하세요 0:40 · engineering.fb.com · blog.cloudflare.com

페이스북 DNS 서버가 인터넷에서 스스로를 제거한 이유는 무엇인가요?

네임 서버는 데이터 센터에 도달할 수 없을 때 자체 BGP 경로를 철회하도록 설계되었습니다. 이 규칙은 한 사이트가 실패할 때 합리적입니다. 전체 백본이 실패했을 때, 모든 네임 서버는 동시에 자신을 비정상으로 선언하고 자신의 주소 광고를 중단했습니다. 서버는 여전히 실행 중이었지만, 아무도 찾을 수 없었습니다.

이 부분을 시청하세요 1:20 · engineering.fb.com · blog.cloudflare.com

페이스북 엔지니어들이 원격으로 서비스 중단을 해결할 수 없었던 이유는 무엇인가요?

내부 도구, 대역 외 액세스 및 사무실 출입증 판독기 모두 실패한 동일한 네트워크에서 실행되었습니다. 엔지니어들은 물리적 접근에 대해 보안이 강화된 랙이 있는 데이터 센터로 가야 했습니다. The New York Times는 UTC 기준 18:51에 직원들이 죽은 출입증으로 건물에 갇혔다고 보도했습니다.

이 부분을 시청하세요 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

페이스북 서비스 중단이 나머지 인터넷에 어떤 영향을 미쳤나요?

앱은 재시도하고 사용자는 다시 로드했으므로, Cloudflare의 리졸버는 도달할 수 없는 사이트에 대해 평소보다 30배 많은 로드를 확인했습니다. 이 사건은 거의 6시간 동안 35억 명의 사용자에게 영향을 미쳤습니다. 또한 Telegram은 그날 7천만 명의 가입자를 확보했다고 보고했습니다.

이 부분을 시청하세요 2:25 · blog.cloudflare.com · www.reuters.com

페이스북의 사후 보고서가 서비스 중단의 근본적인 문제를 해결했나요?

The Daily Diff의 평결은 NEEDS REVIEW였습니다. 페이스북은 같은 날 저녁에 성명을 발표했고, 하루 안에 작성자 이름을 밝힌 사후 보고서를 게시했으며, 감사 도구 버그를 명확하게 인정했습니다. 수정 목록은 더 강력한 테스트 및 훈련에 중점을 두었으며, 프로덕션 네트워크에서 도어를 제거하는 것에 대해서는 언급하지 않았습니다. 이 에피소드는 운영하지 않는 네트워크에 대역 외 액세스를 두라고 조언합니다.

이 부분을 시청하세요 2:38 · engineering.fb.com · engineering.fb.com

번역된 스크립트

원래 영어 내레이션에서 번역되었습니다. 사용 가능한 오디오 및 캡션은 YouTube에서 제어합니다.

Facebook이 자체 주소를 삭제했습니다

0:00 Facebook이 인터넷에서 자체 주소를 삭제하고, 엔지니어들이 이를 복구하기 위해 도착했을 때, 뱃지 리더기 또한 작동하지 않았는데, 이는 뱃지 리더기가 Facebook에 연결되어 있었기 때문입니다. Meta 자체의 다음 날 사후 분석: 일상적인 유지보수 명령이 모든 백본 링크를 중단시켰고, 그러한 명령을 차단하도록 구축된 도구에 버그가 있었습니다.

출처: Meta Engineering, Cloudflare, Hacker News

0:16 외부에서 본 Cloudflare: UTC 15:40에 Facebook 네임 서버로의 경로가 사라지고, 지구상의 모든 곳에서 dig facebook.com이 SERVFAIL을 반환했습니다. 어떻게 이런 일이 발생하고, 왜 안전 기능이 상황을 악화시켰으며, 누가 비난을 받는지. 이것은 The Daily Diff, 사후 분석입니다. UTC 이른 오후.

이것은 The Daily Diff, 사후 분석입니다

0:34 여유 백본 용량을 확인하기 위한 명령이 대신 Facebook 데이터 센터 간의 모든 링크를 중단시켰고, 정확히 이를 잡도록 구축된 감사 도구는

타임라인: 15:39 명령 → 15:40 철회 → 21:20 복구

0:41 이를 통과시켰습니다. 15:40. Cloudflare의 BGP 피드가 철회로 가득 찼고; Facebook의 DNS 프리픽스는 라우팅 테이블에서 사라졌습니다. 1분 안에 Cloudflare 엔지니어들은 자신들이 1.1.1.1을 고장 냈는지 궁금해하며 방에 모였습니다. 15:45, Hacker News, 2600 포인트. 16:07, Facebook 대변인, 하필 트위터에서: 일부 사람들이 저희 앱에 접근하는 데 어려움을 겪고 있습니다. 일부 사람들은 35억 명입니다.

1:06 18:51, The New York Times: 직원들이 건물에 갇히고, 뱃지가 작동하지 않습니다. 19:52, CTO가 사과합니다. 21:00, 5시간 만에 경로가 돌아왔고; 21:20, facebook.com이 해결됩니다. 왜 백본 오류가 Facebook을 인터넷에서 삭제하는가?

메커니즘: 당신을 삭제하는 상태 확인, 30배 DNS 폭풍, 문

1:20 네임 서버에는 규칙이 있습니다: 데이터 센터에 도달할 수 없으면, 자신이 비정상이라고 선언하고, 주소 광고를 중단합니다. 하나의 사이트가 고장 났을 때 합리적입니다. 전체 백본이 고장 나면, 모든 네임 서버가 동시에 그렇게 합니다. 서버는 작동합니다. 아무도 서버를 찾을 수 없습니다. 안전 기능이 네트워크 오류를 존재 오류로 바꿉니다. 그리고 인터넷이 폭주합니다: 앱은 재시도하고, 사용자들은 새로고침하며,

1:39 Cloudflare의 리졸버는 평소보다 30배 많은 부하를 보입니다, 존재하지 않는 사이트에 대해. 그리고 문. 도구, 대역 외 액세스, 뱃지: 모두 같은 네트워크. 엔지니어들이 데이터 센터로 운전해 가지만, 들어갈 수 없고, 그리고 물리적 접근을 막기 위해 강화된 랙을 만납니다. 공격자를 늦추기 위해 만들어졌지만, 소유자도 늦춥니다. 백본이 돌아오고; 그들은 의도적으로 트래픽을 천천히 증가시킵니다.

1:59 각 데이터 센터는 수십 메가와트를 중단시켰고, 이를 한 번에 되돌리는 것은 두 번째 서비스 중단을 의미합니다.

git blame — 분할

2:05 git blame. Facebook, 55%: 명령은 감사되었지만, 감사 도구에 버그가 있었고, 하나의 명령이 모든 라우터에 도달했습니다. DNS 설계, 25%: 비례 감각이 없는 상태 확인. 하나의 네트워크, 15%: 도구, 대역 외, 뱃지. 랙, 5%, 제 역할을 했기 때문입니다. 영향 범위: 35억 사용자, 거의 6시간. 주가는 5% 하락 마감, 서류상 주커버그는 60억 달러 손실.

영향 범위

2:27 그날 Telegram은 7천만 명의 가입자를 확보했다고 주장했습니다. 판결, 사후 분석: NEEDS REVIEW. 당일 저녁 성명, 다음 날 명명된 저자 사후 분석, 감사 도구 버그는 명확한 영어로 인정되었습니다.

판결 + 월요일 라인

2:38 수정 목록: 테스트 및 훈련 강화. 프로덕션 네트워크에서 문을 제거하는 것에 대한 언급은 없습니다. 월요일: 대역 외 액세스와 문을 당신이 운영하지 않는 네트워크에 두세요. 아직 이야기할 수 없는 사건을 댓글로 보내거나, daily diff dot dev로 보내세요. 오늘의 diff는 여기까지입니다. 저는 Axrisi의 Niko입니다.

2:58 책임감 있게 병합하세요.

출처

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

관련 동영상

postmortem · ko · 2026. 9. 25.

1밀리초 버그로 영국 항공 교통 6시간 마비.

9월 8일 화요일 오전 10시, NATS의 국가 영공 시스템(NAS) 내에서 일상적인 스쾍 코드 요청이 값을 업데이트하는 도중에 우선순위가 더 높은 메시지에 의해 중단되었습니다. 노출 시간은 약 1밀리초입니다. 요청이 잘못 재개되고 비행 데이터가 손상되어 오후 7시 30분까지 2,000편 이상의 영국 항공편이 지연, 취소 또는 회항되었습니다.

3:06 ↗
postmortem · ko · 2026. 9. 22.

재부팅으로 텔스트라가 2006년으로 돌아갔습니다. 9백만 대의 전화.

멜버른의 한 엔지니어가 새벽 2시 50분에 타이밍 섀시 전원을 다시 켰고, 아침 식사 시간까지 호주 최대의 모바일 네트워크는 2006년 11월이라고 동의했습니다. 2026년 7월 8일: 텔스트라의 NTP 섀시에 있는 GPS 카드가 전원 공급 장치 수리 중에 재부팅되었고, 펌웨어는 GPS 주 롤오버 업데이트가 없었기 때문에 이전 에포크를 선택하여 1,024주

3:15 ↗
postmortem · ko · 2026. 9. 12.

정규 표현식 하나가 Cloudflare를 27분 동안 중단시켰습니다.

2019년 7월 2일 13:42 UTC: Cloudflare 웹 애플리케이션 방화벽의 새로운 규칙 하나가 약 2초 만에 180개 이상의 도시에 적용됩니다. 시뮬레이션 모드의 XSS 규칙이므로 아무것도 차단하지 않지만, 모든 요청에서 실행되며 .*(?:.*=.*)로 끝납니다. PCRE는 역추적하고, HTTP를 처리하는 모든 CPU 코어가 100%에 도달하며,

3:00 ↗