Facebook이 인터넷에서 스스로를 삭제했습니다. 6시간 동안.

이 동영상에서 다루는 내용

• Facebook이 자체 주소를 삭제했습니다
• 출처: Meta Engineering, Cloudflare, Hacker News
• 이것은 The Daily Diff, 사후 분석입니다
• 타임라인: 15:39 명령 → 15:40 철회 → 21:20 복구
• 메커니즘: 당신을 삭제하는 상태 확인, 30배 DNS 폭풍, 문

번역된 스크립트

원래 영어 내레이션에서 번역되었습니다. 사용 가능한 오디오 및 캡션은 YouTube에서 제어합니다.

Facebook이 자체 주소를 삭제했습니다

0:00 Facebook이 인터넷에서 자체 주소를 삭제하고, 엔지니어들이 이를 복구하기 위해 도착했을 때, 뱃지 리더기 또한 작동하지 않았는데, 이는 뱃지 리더기가 Facebook에 연결되어 있었기 때문입니다. Meta 자체의 다음 날 사후 분석: 일상적인 유지보수 명령이 모든 백본 링크를 중단시켰고, 그러한 명령을 차단하도록 구축된 도구에 버그가 있었습니다.

출처: Meta Engineering, Cloudflare, Hacker News

0:16 외부에서 본 Cloudflare: UTC 15:40에 Facebook 네임 서버로의 경로가 사라지고, 지구상의 모든 곳에서 dig facebook.com이 SERVFAIL을 반환했습니다. 어떻게 이런 일이 발생하고, 왜 안전 기능이 상황을 악화시켰으며, 누가 비난을 받는지. 이것은 The Daily Diff, 사후 분석입니다. UTC 이른 오후.

이것은 The Daily Diff, 사후 분석입니다

0:34 여유 백본 용량을 확인하기 위한 명령이 대신 Facebook 데이터 센터 간의 모든 링크를 중단시켰고, 정확히 이를 잡도록 구축된 감사 도구는

타임라인: 15:39 명령 → 15:40 철회 → 21:20 복구

0:41 이를 통과시켰습니다. 15:40. Cloudflare의 BGP 피드가 철회로 가득 찼고; Facebook의 DNS 프리픽스는 라우팅 테이블에서 사라졌습니다. 1분 안에 Cloudflare 엔지니어들은 자신들이 1.1.1.1을 고장 냈는지 궁금해하며 방에 모였습니다. 15:45, Hacker News, 2600 포인트. 16:07, Facebook 대변인, 하필 트위터에서: 일부 사람들이 저희 앱에 접근하는 데 어려움을 겪고 있습니다. 일부 사람들은 35억 명입니다.

1:06 18:51, The New York Times: 직원들이 건물에 갇히고, 뱃지가 작동하지 않습니다. 19:52, CTO가 사과합니다. 21:00, 5시간 만에 경로가 돌아왔고; 21:20, facebook.com이 해결됩니다. 왜 백본 오류가 Facebook을 인터넷에서 삭제하는가?

메커니즘: 당신을 삭제하는 상태 확인, 30배 DNS 폭풍, 문

1:20 네임 서버에는 규칙이 있습니다: 데이터 센터에 도달할 수 없으면, 자신이 비정상이라고 선언하고, 주소 광고를 중단합니다. 하나의 사이트가 고장 났을 때 합리적입니다. 전체 백본이 고장 나면, 모든 네임 서버가 동시에 그렇게 합니다. 서버는 작동합니다. 아무도 서버를 찾을 수 없습니다. 안전 기능이 네트워크 오류를 존재 오류로 바꿉니다. 그리고 인터넷이 폭주합니다: 앱은 재시도하고, 사용자들은 새로고침하며,

1:39 Cloudflare의 리졸버는 평소보다 30배 많은 부하를 보입니다, 존재하지 않는 사이트에 대해. 그리고 문. 도구, 대역 외 액세스, 뱃지: 모두 같은 네트워크. 엔지니어들이 데이터 센터로 운전해 가지만, 들어갈 수 없고, 그리고 물리적 접근을 막기 위해 강화된 랙을 만납니다. 공격자를 늦추기 위해 만들어졌지만, 소유자도 늦춥니다. 백본이 돌아오고; 그들은 의도적으로 트래픽을 천천히 증가시킵니다.

1:59 각 데이터 센터는 수십 메가와트를 중단시켰고, 이를 한 번에 되돌리는 것은 두 번째 서비스 중단을 의미합니다.

git blame — 분할

2:05 git blame. Facebook, 55%: 명령은 감사되었지만, 감사 도구에 버그가 있었고, 하나의 명령이 모든 라우터에 도달했습니다. DNS 설계, 25%: 비례 감각이 없는 상태 확인. 하나의 네트워크, 15%: 도구, 대역 외, 뱃지. 랙, 5%, 제 역할을 했기 때문입니다. 영향 범위: 35억 사용자, 거의 6시간. 주가는 5% 하락 마감, 서류상 주커버그는 60억 달러 손실.

영향 범위

2:27 그날 Telegram은 7천만 명의 가입자를 확보했다고 주장했습니다. 판결, 사후 분석: NEEDS REVIEW. 당일 저녁 성명, 다음 날 명명된 저자 사후 분석, 감사 도구 버그는 명확한 영어로 인정되었습니다.

판결 + 월요일 라인

2:38 수정 목록: 테스트 및 훈련 강화. 프로덕션 네트워크에서 문을 제거하는 것에 대한 언급은 없습니다. 월요일: 대역 외 액세스와 문을 당신이 운영하지 않는 네트워크에 두세요. 아직 이야기할 수 없는 사건을 댓글로 보내거나, daily diff dot dev로 보내세요. 오늘의 diff는 여기까지입니다. 저는 Axrisi의 Niko입니다.

2:58 책임감 있게 병합하세요.

출처

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com