중단 뒤에 숨겨진 배포, 인프라 결함 및 엔지니어링 결정을 연구합니다. 이 에피소드는 인시던트 출처를 기반으로 장애 메커니즘, 복구 결정 및 교훈을 설명합니다.
9월 8일 화요일 오전 10시, NATS의 국가 영공 시스템(NAS) 내에서 일상적인 스쾍 코드 요청이 값을 업데이트하는 도중에 우선순위가 더 높은 메시지에 의해 중단되었습니다. 노출 시간은 약 1밀리초입니다. 요청이 잘못 재개되고 비행 데이터가 손상되어 오후 7시 30분까지 2,000편 이상의 영국 항공편이 지연, 취소 또는 회항되었습니다.
3:06 ↗
멜버른의 한 엔지니어가 새벽 2시 50분에 타이밍 섀시 전원을 다시 켰고, 아침 식사 시간까지 호주 최대의 모바일 네트워크는 2006년 11월이라고 동의했습니다. 2026년 7월 8일: 텔스트라의 NTP 섀시에 있는 GPS 카드가 전원 공급 장치 수리 중에 재부팅되었고, 펌웨어는 GPS 주 롤오버 업데이트가 없었기 때문에 이전 에포크를 선택하여 1,024주
3:15 ↗
몇 개의 빈 필드를 가진 정책 행이 널 포인터에 도달하고 Google Cloud는 모든 리전에서 동시에 충돌합니다. 그런 다음 Cloudflare도 함께 다운됩니다. 2025년 6월 12일 17:49 UTC: 모든 Google Cloud API 요청을 승인하는 바이너리인 Service Control이 “의도하지 않은 빈 필드”가 포함된 할당량 정책 변경 사
2:57 ↗
봇이 풀 리퀘스트를 엽니다. 사람이 24분 후에 병합합니다. 그로부터 95분 후, 웜이 CI에서 찾은 토큰으로 그의 이름으로 22개의 npm 패키지의 악성 버전 110개를 배포했습니다.
3:04 ↗
Facebook이 인터넷에서 자체 주소를 삭제하고, 엔지니어들이 이를 복구하기 위해 도착했을 때, 뱃지 리더기 또한 작동하지 않았는데, 이는 뱃지 리더기가 Facebook에 연결되어 있었기 때문입니다. 2021년 10월 4일 15:40 UTC: 일상적인 백본 유지보수 명령이 Facebook 데이터 센터 간의 모든 링크를 중단시켰습니다. 이를 차단하도록 구축
3:01 ↗
2억 6천만 다운로드를 기록한 4개의 매크로 Rust 크레이트가 하나의 의존성을 추가하며, `cargo build`가 사용자의 머신에서 낯선 바이너리를 실행합니다. 2026년 8월 20일: arrayref 0.3.10이 crates.io에 등록되며 proc-macro1(실제 proc-macro2가 아닌)에 의존합니다. proc-macro1의 빌드 스크립트는
3:09 ↗
2024년 7월 19일, 04:09 UTC: CrowdStrike는 Channel File 291 — Rapid Response Content 업데이트 —를 온라인 상태의 모든 Windows Falcon 센서에 푸시합니다. 업데이트에 사용된 템플릿은 2월에 21개의 입력 필드로 선언되었지만, 입력을 제공하는 코드는 20개의 배열을 생성합니다. 4개월 동안
2:52 ↗
2016년 3월 22일 21:30 UTC: npm이 메시징 앱 Kik의 특허 대리인이 "변호사들이 당신의 문을 두드릴 것"이라고 약속한 후 "kik"이라는 패키지 이름을 Kik에게 넘겨주자, 한 개발자가 자신의 npm 패키지 273개를 모두 게시 취소했습니다. 273개 중 하나는 left-pad로, 문자열 앞에 공백을 추가하는 11줄짜리 코드이며 한 달에
2:52 ↗
2019년 7월 2일, 13:42 UTC: Cloudflare의 웹 애플리케이션 방화벽에 대한 새로운 규칙 하나가 약 2초 만에 180개 이상의 도시에 적용됩니다. 시뮬레이트 모드의 XSS 규칙이므로 아무것도 차단하지 않지만 모든 요청에서 실행되며 .*(?:.*=.*)로 끝납니다. PCRE가 역추적하고, HTTP 요청을 처리하는 모든 CPU 코어가 100%
3:00 ↗
2012년 8월 1일 오전 9시 30분(미국 동부 표준시): 미국 주식 거래량의 약 10분의 1을 차지하는 시장 조성자 Knight Capital이 8대의 SMARS 서버 중 7대에 새로운 주문 라우팅 코드를 배포했습니다. 나머지 1대의 서버는 2003년에 사용 중단된 "Power Peg" 코드를 계속 실행하고 있었으며, 이는 새로운 기능이 재사용하는 플래
2:52 ↗
2017년 1월 31일, 23:27 UTC: GitLab 엔지니어가 긴 밤의 끝자락에서 고장 난 복제본과 씨름하다 db2 대신 db1의 PostgreSQL 데이터 디렉토리를 삭제했습니다. db1은 기본입니다. GitLab.com 데이터베이스 약 300GB가 1~2초 만에 사라졌고, 5가지 백업 및 복제 메커니즘 중 어느 하나도 작동하지 않았습니다. 사후 분
2:53 ↗
AI 코딩 에이전트(Claude Opus 4.6을 실행하는 Cursor)가 스테이징에서 자격 증명 불일치를 발견하고 관련 없는 파일에서 찾은 계정 범위 토큰으로 Railway에서 volumeDelete를 호출하여 이를 "수정"합니다. 프로덕션 데이터베이스와 모든 볼륨 백업이 9초 만에 사라졌습니다. 사후 분석: 타임라인, 정확한 curl, 이를 가능하게 한
3:23 ↗