+− THE DAILY DIFFdev & AI news
REVERT

서버 8대 중 7대에 배포된 후 45분 만에 4억 6천만 달러 손실.

2012년 8월 1일 오전 9시 30분(미국 동부 표준시): 미국 주식 거래량의 약 10분의 1을 차지하는 시장 조성자인 Knight Capital은 8대의 SMARS 서버 중 7대에 새로운 주문 라우팅 코드를 배포했습니다.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2012년 8월 1일 오전 9시 30분(미국 동부 표준시): 미국 주식 거래량의 약 10분의 1을 차지하는 시장 조성자인 Knight Capital은 8대의 SMARS 서버 중 7대에 새로운 주문 라우팅 코드를 배포했습니다. 나머지 한 대의 서버에는 새로운 기능이 재사용하는 플래그 뒤에서 2003년에 사용 중단된 코드인 "Power Peg"가 여전히 실행되고 있었습니다. 45분 동안 이 서버는 멈추지 않는 자식 주문을 보냈습니다. 이는 4백만 건의 실행, 3억 9천 7백만 주, 약 70억 달러 상당의 포지션을 발생시켰고, 4억 6천만 달러의 손실로 이어졌습니다. 개장 전에 97통의 경고 이메일이 도착했습니다. SEC 자체 명령에 따른 사후 분석 결과: 아무도 검토하지 않은 수동 배포, 두 가지 의미를 가진 플래그, 2005년에 이동되고 재시험되지 않은 정지 카운터, 존재하지 않는 킬 스위치, 그리고 라이브 시장에서 상황을 악화시킨 "수정". 수정에 대한 평결: REVERT.

서면판 읽기 (영어) ↗

이 동영상에서 다루는 내용

  • 2012년 7월 27일~31일: RLP 코드가 SMARS 서버 8대 중 7대에 수동으로 복사됨; 두 번째 검토자 없음, 서면 절차 없음
  • 8월 1일 오전 8시 1분: 개장 전에 97통의 "Power Peg 비활성화됨" 이메일이 도착했으나, 경고로 설계되지 않아 읽히지 않음
  • 8월 1일 오전 9시 30분~10시 15분: 212건의 주문이 154개 주식에서 4백만 건의 실행으로 이어짐; 롱 포지션 35억 달러, 숏 포지션 31억 5천만 달러; 4억 6천만 달러 손실; 새 코드 제거가 상황을 악화시킴
  • 8월 2일~12월 19일: 주식 -63%로 2.58달러, 주당 1.50달러에 4억 달러 구제 금융, GETCO와 합병; 2013년 10월: 1,200만 달러 SEC 벌금, 첫 Market Access Rule 사례

자주 묻는 질문

2012년 8월 Knight Capital 거래 손실의 원인은 무엇입니까?

Knight Capital은 8대의 SMARS 서버 중 7대에 새로운 주문 라우팅 코드를 수동으로 배포했습니다. 나머지 한 대의 서버에는 새로운 기능이 재사용하는 동일한 플래그 뒤에서 2003년에 사용 중단된 코드인 Power Peg가 여전히 실행되고 있었습니다. SEC 명령에 따르면, 이 서버는 212건의 고객 주문에 대한 자식 주문을 보내고 멈추지 않았으며, 약 45분 동안 4백만 건의 실행과 3억 9천 7백만 주를 생성하여 4억 6천만 달러의 손실을 입혔습니다.

www.sec.gov · www.sec.gov

오래된 기능 플래그를 새 코드에 재사용하는 것이 위험한 이유는 무엇입니까?

동일한 플래그 값은 다른 서버에서 두 가지 다른 의미를 갖게 됩니다. Knight의 경우 새로운 기능이 Power Peg의 오래된 플래그를 재사용하여, 동일한 설정이 7대의 서버에서는 새로운 동작을 활성화하고 나머지 한 대의 서버에서는 사용 중단된 Power Peg 코드를 활성화했습니다. Power Peg의 정지 카운터 또한 2005년에 이동되고 재시험되지 않아, 사용 중단된 코드가 영원히 반복되었습니다.

www.sec.gov

경고나 제어가 Knight Capital의 폭주 주문을 더 빨리 막지 못한 이유는 무엇입니까?

"Power Peg 비활성화됨"이라는 97통의 이메일이 개장 전에 도착했지만, 이들은 경고로 설계되지 않아 아무도 읽지 않았습니다. 들어오는 주문과 나가는 주문을 비교하는 것은 아무것도 없었고, 킬 스위치도 없었습니다. 위험 모니터는 한도를 표시하지 않는 인간이 지켜보는 화면이었습니다. 엔지니어들이 7대의 정상적인 서버에서 새 코드를 제거하자 Power Peg가 모든 곳에서 활성화되었습니다.

www.sec.gov · www.sec.gov

2012년 거래 오류 이후 Knight Capital은 어떻게 되었습니까?

주가는 63% 하락하여 2.58달러가 되었고, Knight는 주당 1.50달러에 4억 달러의 구제 금융을 받았습니다. 2012년 크리스마스까지 GETCO와의 합병에 동의했습니다. 2013년에 SEC는 첫 Market Access Rule 사례에서 Knight에 1,200만 달러의 벌금을 부과하고, 사고 발생 약 14개월 후에 자체 사후 분석 보고서를 작성했습니다.

www.sec.gov · www.sec.gov · www.sec.gov

Knight Capital 사고 이후 엔지니어링 팀은 무엇을 변경해야 합니까?

The Daily Diff의 평결은 REVERT였습니다. 이 에피소드의 변경 사항은 각 새로운 기능에 새로운 플래그를 제공하고, 죽은 코드를 비활성화하는 대신 삭제하며, 주문을 보내는 모든 것에 끄기 스위치를 제공하는 것입니다. 또한 Knight가 자체 사후 분석 보고서를 작성하지 않았다는 점도 지적했습니다. SEC가 작성했으며, 수동 배포에는 두 번째 검토자와 서면 절차가 없었습니다.

www.sec.gov · www.sec.gov

번역된 스크립트

원래 영어 내레이션에서 번역되었습니다. 사용 가능한 오디오 및 캡션은 YouTube에서 제어합니다.

0:00 거래 회사가 8대의 서버 중 7대에 새 코드를 배포하고, 나머지 1대의 서버는 거의 70억 달러어치의 주식을 사고파는데, 이는 수요일에도 45분이라는 짧은 시간 동안 엄청난 금액입니다. 2012년 8월 1일. 미국 전체 주식 거래량의 10분의 1을 차지하는 Knight Capital은 4억 4천만 달러의 손실을 보고합니다. SEC는 나중에 4억 6천만 달러 이상의 손실을 확인하고 Knight에 1,200만 달러의 벌금을 부과하며, 사후 분석 보고서를 직접 작성합니다: 10페이지 분량, 형용사 0개.

0:25 어떻게 이런 일이 일어났고, 왜 가능했으며, 누가 실제로 비난을 받아야 하는가. 이것은 The Daily Diff, 사후 분석입니다. 7월 27일. 뉴욕 증권 거래소는 8월 1일에 소매 유동성 프로그램을 시작하므로, Knight는 주문 라우터인 SMARS에 새 코드를 수동으로 몇 대의 서버에 하루에 하나씩 복사합니다. 하루에 몇 대의 서버에 수동으로 복사합니다. 한 명의 기술자, 8대의 서버, 7개의 복사본. 아무도 확인하지 않습니다. 아무도 확인해야 한다는 규칙이 없습니다. 오전 8시 1분. 내부 시스템에서 직원들에게 "Power Peg 비활성화됨"이라는 오류 이메일을 보내기 시작합니다.

0:51 개장 전에 97통의 이메일이 도착합니다. 이들은 경고로 설계되지 않았기 때문에 아무도 읽지 않습니다. 이는 대가를 치르는 설계 결정입니다. 오전 9시 30분, 시장이 열립니다. 7대의 서버는 새 코드를 실행합니다. 나머지 1대의 서버는 동일한 플래그를 보고 Power Peg를 대신 실행합니다. 이는 Knight가 2003년에 사용 중단하고 삭제하지 않은 코드입니다. 212건의 고객 주문에 대한 자식 주문을 보내고, 멈추지 않습니다.

1:13 4백만 건의 실행. 3억 9천 7백만 주. 보유 계좌는 2백만 달러 한도를 초과하여 부풀어 오르고, 이것은 아무것도 연결되어 있지 않습니다. 엔지니어들은 라이브 시장에서 7대의 정상적인 서버에서 새 코드를 제거하고, 이는 모든 곳에서 Power Peg를 켭니다. 오전 10시 15분경에 멈춥니다: 롱 포지션 35억 달러, 숏 포지션 31억 5천만 달러.

1:31 하나: Power Peg의 정지 조건, 즉 부모 주문이 채워졌다고 알리는 카운터는 2005년에 이동되었고 재시험되지 않아, 사용 중단된 코드가 영원히 반복됩니다. 둘: 새로운 기능은 Power Peg의 이전 플래그를 재사용하므로, 동일한 "예"가 두 서버에서 두 가지를 의미합니다. 셋: 킬 스위치가 없습니다. 아무것도 들어오는 주문과 나가는 주문을 비교하지 않고, SMARS를 중단시키지 않습니다. 위험 모니터는 사람이 지켜보는 화면입니다. 한도를 표시하지 않습니다. git blame: 새로운 플래그 대신 재사용된 플래그, 9년 동안 호출 가능한 죽은 코드,

2:00 그리고 두 번째 검토자가 없는 수동 배포. 기술자의 잘못이 아닙니다. SEC 명령은 그의 이름을 언급하지 않았고, 저도 언급하지 않을 것입니다. 영향 범위: 4억 6천만 달러, 대략 분당 천만 달러. 주가는 63% 하락하여 2.58달러, 주당 1.50달러에 4억 달러 구제 금융, 크리스마스까지 Getco와 합병. Hacker News, 목요일: 어떻게 45분 동안 인간의 개입 없이 실행될 수 있었을까? 그러지 않았습니다. 인간이 상황을 악화시켰습니다.

2:25 평결, 사후 분석: REVERT. Knight는 자체 사후 분석 보고서를 작성하지 않았습니다. 규제 기관이 14개월 후에 작성했으며, 해결책은 벌금과 합병입니다. 월요일: 새 기능, 새 플래그; 죽은 코드는 비활성화되지 않고 삭제됩니다. 주문을 보내는 모든 것에는 끄기 스위치가 제공됩니다. 댓글로 또는 thedailydiff.dev로 아직 이야기할 수 없는 사고를 보내주세요. 댓글로 또는 thedailydiff.dev로 아직 이야기할 수 없는 사고를 보내주세요. 그리고 그것이 오늘의 차이입니다.

2:48 Axrisi의 Niko입니다. 책임감 있게 병합하세요.

출처

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

관련 동영상

postmortem · ko · 2026. 9. 12.

정규 표현식 하나가 Cloudflare를 27분 동안 중단시켰습니다.

2019년 7월 2일 13:42 UTC: Cloudflare 웹 애플리케이션 방화벽의 새로운 규칙 하나가 약 2초 만에 180개 이상의 도시에 적용됩니다. 시뮬레이션 모드의 XSS 규칙이므로 아무것도 차단하지 않지만, 모든 요청에서 실행되며 .*(?:.*=.*)로 끝납니다. PCRE는 역추적하고, HTTP를 처리하는 모든 CPU 코어가 100%에 도달하며,

3:00 ↗
postmortem · ko · 2026. 9. 25.

1밀리초 버그로 영국 항공 교통 6시간 마비.

9월 8일 화요일 오전 10시, NATS의 국가 영공 시스템(NAS) 내에서 일상적인 스쾍 코드 요청이 값을 업데이트하는 도중에 우선순위가 더 높은 메시지에 의해 중단되었습니다. 노출 시간은 약 1밀리초입니다. 요청이 잘못 재개되고 비행 데이터가 손상되어 오후 7시 30분까지 2,000편 이상의 영국 항공편이 지연, 취소 또는 회항되었습니다.

3:06 ↗
postmortem · ko · 2026. 9. 22.

재부팅으로 텔스트라가 2006년으로 돌아갔습니다. 9백만 대의 전화.

멜버른의 한 엔지니어가 새벽 2시 50분에 타이밍 섀시 전원을 다시 켰고, 아침 식사 시간까지 호주 최대의 모바일 네트워크는 2006년 11월이라고 동의했습니다. 2026년 7월 8일: 텔스트라의 NTP 섀시에 있는 GPS 카드가 전원 공급 장치 수리 중에 재부팅되었고, 펌웨어는 GPS 주 롤오버 업데이트가 없었기 때문에 이전 에포크를 선택하여 1,024주

3:15 ↗