+− THE DAILY DIFFdev & AI news
REVERT

部署到八分之七的伺服器導致損失4.6億美元。45分鐘。

美國東部時間2012年8月1日上午9:30:作為美國所有股票交易約十分之一的市場莊家,Knight Capital剛將新的訂單路由程式碼部署到其八個SMARS伺服器中的七個。

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

美國東部時間2012年8月1日上午9:30:作為美國所有股票交易約十分之一的市場莊家,Knight Capital剛將新的訂單路由程式碼部署到其八個SMARS伺服器中的七個。第八個伺服器仍然運行著2003年退役的「Power Peg」程式碼,位於新功能重複使用的同一個旗標後面。在45分鐘內,它發送了永不停止的子訂單:400萬次執行,3.97億股,約70億美元的頭寸,造成4.6億美元的損失。開市前已收到97封警告電郵。根據美國證券交易委員會自己的命令的事後分析:無人審查的手動部署、具有兩種含義的旗標、2005年移動且從未重新測試的停止計數器、不存在的終止開關,以及在實時市場中使情況更糟的「修復」。修復的裁決:REVERT。

閱讀書面版本(英文) ↗

本影片涵蓋的內容

  • 2012年7月27日至31日:RLP程式碼手動複製到八個SMARS伺服器中的七個;無第二審閱人,無書面程序
  • 8月1日,上午8:01:開市前收到97封「Power Peg已禁用」電郵;未設計為警報,無人閱讀
  • 8月1日,9:30–10:15:212個訂單在154支股票中產生400萬次執行;35億美元多頭,31.5億美元空頭;損失4.6億美元;卸載新程式碼使情況更糟
  • 8月2日至12月19日:股價下跌63%至2.58美元,以每股1.50美元獲得4億美元救助,與GETCO合併;2013年10月:1200萬美元SEC罰款,首例市場准入規則案件

問題與解答

Knight Capital於2012年8月交易損失的原因是什麼?

Knight Capital手動將新的訂單路由程式碼部署到其八個SMARS伺服器中的七個。第八個伺服器仍然運行著Power Peg,這是一種於2003年退役的程式碼,位於新功能重複使用的相同旗標後面。根據美國證券交易委員會的命令,它為212個客戶訂單發送子訂單,從未停止,在大約45分鐘內產生了400萬次執行和3.97億股,造成了4.6億美元的損失。

www.sec.gov · www.sec.gov

重複使用舊的功能旗標用於新程式碼為何危險?

相同的旗標值在不同伺服器上表示兩種不同的含義。在Knight的案例中,新功能重複使用Power Peg的舊旗標,因此相同的設置在七個伺服器上啟用了新行為,而在第八個伺服器上啟用了退役的Power Peg程式碼。Power Peg的停止計數器也在2005年被移動但從未重新測試,因此退役的程式碼永遠循環。

www.sec.gov

為什麼警告或控制未能及早阻止Knight Capital的失控訂單?

開市前收到了97封內容為「Power Peg已禁用」的電郵,但它們並非設計為警報,也無人閱讀。沒有任何東西比較訂單進出,也沒有終止開關。風險監控器是一個由人監視的螢幕,它不顯示限制。工程師從七個正常的伺服器卸載了新程式碼,這使得Power Peg在所有地方都開啟。

www.sec.gov · www.sec.gov

2012年交易故障後,Knight Capital發生了什麼?

股價下跌63%至2.58美元,Knight以每股1.50美元獲得4億美元救助。它同意在2012年聖誕節前與GETCO合併。2013年,美國證券交易委員會在其首個市場准入規則案件中罰款Knight 1200萬美元,並在事件發生約十四個月後自行撰寫了事後分析。

www.sec.gov · www.sec.gov · www.sec.gov

Knight Capital事件後,工程團隊應該做出哪些改變?

The Daily Diff的裁決是REVERT。該事件的改變是為每個新功能提供一個新旗標,刪除死程式碼而非禁用它,並為任何發送訂單的東西提供一個關閉開關。它還指出,Knight從未撰寫自己的事後分析。美國證券交易委員會撰寫了,而且手動部署沒有第二審閱人,也沒有書面程序。

www.sec.gov · www.sec.gov

翻譯的文字記錄

從英文原文旁白翻譯。可用的音頻和字幕由 YouTube 控制。

0:00 一家交易公司將新程式碼部署到八個伺服器中的七個, 第八個伺服器在 四十五分鐘內買賣了近七十億美元的股票,即使是星期三,這也是一個很大的數字。 2012年8月1日。 佔美國所有股票交易十分之一的Knight Capital, 報告損失4.4億美元。 美國證券交易委員會後來統計超過4.6億美元,罰款Knight 1200萬美元, 並親自撰寫事後分析:十頁,零形容詞。

0:25 它如何發生,為什麼可能,以及誰真正承擔責任。 這是《The Daily Diff》的事後分析。 7月27日。紐約證券交易所於 8月1日推出零售流動性計劃,因此Knight將新程式碼手動複製到其訂單路由器SMARS上, 每天複製幾個伺服器。 一名技術人員,八個伺服器,七份副本。 無人檢查;沒有規定說有人必須檢查。 上午8:01。內部系統開始向員工發送一封錯誤電郵,內容為:Power

0:51 Peg已禁用。開市前有97封電郵。 它們並非設計為警報,因此無人閱讀, 這是一個代價不菲的設計決策。 9:30,市場開市。 七個伺服器運行新程式碼。 第八個伺服器看到相同的旗標,卻運行Power Peg:Knight於 2003年退役但從未刪除的程式碼。 它為212個客戶訂單發送子訂單,永不停止。

1:13 四百萬次執行。 3.97億股。 一個持有帳戶膨脹超過其200萬美元的限制, 而該帳戶並未連接到任何東西。 工程師在實時市場中從七個正常的伺服器卸載新程式碼, 這使得Power Peg在所有地方都開啟。 大約10:15它停止了:35億美元多頭, 31.5億美元空頭。

1:31 一:Power Peg的停止條件,即指示母訂單已 完成的計數器,在2005年被移動但從未重新測試,因此退役的程式碼 永遠循環。二:新功能重複使用Power Peg的舊旗標, 因此在兩個伺服器上,相同的「是」表示兩種含義。 三:無終止開關。 沒有任何東西比較訂單進出;沒有任何東西停止SMARS。 風險監控器是由人監視的螢幕;它不顯示限制。 git blame:重複使用旗標而不是使用新旗標,死程式碼可呼叫九

2:00 年,以及無第二雙眼睛的手動部署。 不是技術人員。 美國證券交易委員會的命令從未點名他,我也不會。 影響範圍:4.6億美元,大約每分鐘1000萬美元。 股價下跌63%至2.58美元,以每股1.50美元獲得4億美元救助, 聖誕節前與Getco合併。 Hacker News,星期四:它如何在無人介入的情況下運行45分鐘? 它沒有。人類使情況更糟。

2:25 事後分析裁決:REVERT。 Knight從未撰寫自己的事後分析;監管機構在 十四個月後撰寫,修復方案是罰款和合併。 星期一:新功能,新旗標;死程式碼被刪除, 而非禁用;任何發送訂單的東西都有關閉開關。 在評論中,或發送至thedailydiff.dev, 將您仍不被允許談論的事件發送給我。 這就是今天的diff。

2:48 我是Axrisi的Niko。 負責任地合併。

來源

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

相關影片

postmortem · zh-HK · 2026年9月19日

Google Cloud 在空白欄位當機。三小時。

一個帶有幾個空白欄位的策略行觸發了空指標,Google Cloud 立即在所有區域當機 — 然後 Cloudflare 也隨之故障。2025 年 6 月 12 日,世界標準時間 17:49:Service Control,一個批准所有 Google Cloud API 請求的二進位檔案,讀取了一個帶有「非預期空白欄位」的配額策略變更,觸發了兩週前發布但沒有空值檢查和功能旗標的程式碼路徑,並在所有區

2:57 ↗
postmortem · zh-HK · 2026年9月12日

一個正則表達式讓Cloudflare停擺27分鐘。

2019年7月2日,世界標準時間13:42:一條新的Cloudflare網絡應用程式防火牆規則在大約兩秒鐘內在180多個城市上線。這是一個模擬模式下的XSS規則,因此它不會阻擋任何東西,但它仍然在每個請求上運行,並且以.*(?:.*=.*)結尾。PCRE回溯,每個處理HTTP請求的CPU核心都達到100%,所有通過Cloudflare代理的網站都在27分鐘內返回502錯誤;流量下降82%。終止開關

3:00 ↗
postmortem · zh-HK · 2026年9月22日

重啟令 Telstra 倒退回 2006 年。九百萬部電話。

墨爾本的一名工程師在凌晨 2 時 50 分重啟計時機箱,到早餐時,澳洲最大的流動網絡竟以為是 2006 年 11 月。2026 年 7 月 8 日:Telstra NTP 機箱中的 GPS 卡在更換電源期間重啟,其韌體從未有 GPS 週數滾動更新,因此它選擇了舊的紀元,倒退了 1,024 週。由於 2025 年 10 月的變通方法使該卡成為網絡唯一的 stratum-1 來源 — 以及 2020

3:15 ↗