7台のサーバーへのデプロイが4億6,000万ドルの損失をもたらした。45分。
2012年8月1日午前9時30分(東部標準時):米国株式取引全体の約10分の1を占めるマーケットメーカーであるナイトキャピタルは、8台のSMARSサーバーのうち7台に新しい注文ルーティングコードを展開しました。
2012年8月1日午前9時30分(東部標準時):米国株式取引全体の約10分の1を占めるマーケットメーカーであるナイトキャピタルは、8台のSMARSサーバーのうち7台に新しい注文ルーティングコードを展開しました。残りの1台は、2003年に廃止された「パワーペグ」というコードを、新しい機能が再利用するまさにそのフラグの裏で実行していました。45分間、止まることのない子注文を送信し続けました。400万回の実行、3億9,700万株、約70億ドルのポジション、そして4億6,000万ドルの損失。取引開始前に97通の警告メールが届いていました。事後検証(SECの命令書による):誰もレビューしなかった手動デプロイ、2つの意味を持つフラグ、2005年に移動され再テストされなかった停止カウンター、存在しなかったキルスイッチ、そして生きた市場で状況を悪化させた「修正」。修正に対する評価:REVERT。
この動画の要点
- 2012年7月27日~31日:RLPコードが手作業で8台のSMARSサーバーのうち7台にコピーされました。セカンドレビュー担当者も、書面による手順もありませんでした。
- 8月1日午前8時1分:取引開始前に「パワーペグ無効」のメールが97通届きました。これらはアラートとして設計されておらず、読まれませんでした。
- 8月1日午前9時30分~10時15分:212件の注文が154銘柄で400万回の約定に。35億ドルの買い、31億5,000万ドルの売り。4億6,000万ドルの損失。新しいコードをアンインストールすると状況が悪化しました。
- 8月2日~12月19日:株価は63%下落して2.58ドルに、1株あたり1.50ドルで4億ドルの救済、GETCOとの合併。2013年10月:1,200万ドルのSEC罰金、初の市場アクセスルール事例。
質疑応答
2012年8月のナイトキャピタルの取引損失の原因は何でしたか?
ナイトキャピタルは、8台のSMARSサーバーのうち7台に新しい注文ルーティングコードを手動で展開しました。残りの1台は、新しい機能が再利用するのと同じフラグの裏で、2003年に廃止されたコードである「パワーペグ」をまだ実行していました。SECの命令書によると、パワーペグは212件の顧客注文に対して子注文を送信し続け、止まることがなく、約45分間で400万回の約定と3億9,700万株を生成し、4億6,000万ドルの損失をもたらしました。
古い機能フラグを新しいコードに再利用することが危険なのはなぜですか?
同じフラグの値が、異なるサーバーで2つの異なる意味を持つことになります。ナイトキャピタルのケースでは、新しい機能がパワーペグの古いフラグを再利用したため、同じ設定が7台のサーバーで新しい動作を有効にし、残りの1台で廃止されたパワーペグコードを有効にしました。パワーペグの停止カウンターも2005年に移動され、再テストされていなかったため、廃止されたコードは永久にループしました。
警告や制御がナイトキャピタルの暴走注文を早く止められなかったのはなぜですか?
「パワーペグ無効」という内容のメールが取引開始前に97通届きましたが、これらはアラートとして設計されておらず、誰も読みませんでした。出た注文と入った注文を比較するものはなく、キルスイッチもありませんでした。リスクモニターは人間が監視する画面であり、限度額は表示されませんでした。エンジニアは7台の正常なサーバーから新しいコードをアンインストールしましたが、それがパワーペグをすべての場所でオンにしました。
2012年の取引の不具合後、ナイトキャピタルはどうなりましたか?
株価は63%下落して2.58ドルになり、ナイトは1株あたり1.50ドルで4億ドルの救済を受けました。2012年のクリスマスまでにGETCOとの合併に合意しました。2013年、SECはナイトに市場アクセスルール違反の初の事例として1,200万ドルの罰金を科し、事件から約14ヶ月後に自ら事後検証書を作成しました。
ナイトキャピタルの事件後、エンジニアリングチームは何を変えるべきですか?
The Daily Diffの評決はREVERTでした。このエピソードで変更されたのは、各新機能に新しいフラグを付け、デッドコードを無効にするのではなく削除すること、そして注文を送信するすべてのものにオフスイッチを付けることです。また、ナイトが自身の事後検証書を書いていないことも指摘されました。SECがそれを行い、手動デプロイにはセカンドレビュー担当者も書面による手順もありませんでした。
翻訳されたトランスクリプト
オリジナルの英語ナレーションから翻訳されています。利用可能なオーディオとキャプションはYouTubeによって管理されています。
0:00 ある取引会社が8台のサーバーのうち7台に新しいコードをデプロイし、 残りの1台が約70億ドル分の株を 45分間で売買しました。これは水曜日としてはかなりの金額です。 2012年8月1日。 ナイトキャピタルは、米国の全株式取引の10分の1を占める企業で、 4億4,000万ドルの損失を報告します。 SECは後に4億6,000万ドルを超えることを数え、ナイトに1,200万ドルの罰金を科し、 自ら事後検証書を作成しました。10ページ、形容詞はゼロです。
0:25 それがどのように起こり、なぜ可能だったのか、そして誰が実際に非難されるのか。 これはThe Daily Diff、事後検証です。 7月27日。ニューヨーク証券取引所は 8月1日に小売流動性プログラムを開始するため、ナイトはSMARS(注文ルーター)に新しいコードを手作業で 毎日数台ずつコピーします。 1人の技術者、8台のサーバー、7つのコピー。 誰も確認せず、誰も確認する必要があるというルールもありません。 午前8時1分。社内システムが「Power Peg disabled」というエラーをスタッフにメールで送り始めます。
0:51 取引開始前に97通のメール。 これらはアラートとして設計されていないため、誰も読みません。 これは代償を伴う設計上の決定です。 9時30分、市場が開きます。 7台のサーバーは新しいコードを実行します。 8番目のサーバーは同じフラグを見て、代わりにパワーペグを実行します。これはナイトが2003年に廃止し、 削除しなかったコードです。 212件の顧客注文に対して子注文を送り続け、決して止まりません。
1:13 400万回の約定。 3億9,700万株。 保有口座は200万ドルの限度額を超えて膨れ上がりますが、 何も接続されていません。 エンジニアは、生きた市場で、7台の正常なサーバーから新しいコードをアンインストールします。 これにより、パワーペグがすべての場所でオンになります。 午前10時15分頃に停止します。35億ドルの買い、 31億5,000万ドルの売り。
1:31 一つ:パワーペグの停止条件、親注文が 満たされたことを示すカウンターが2005年に移動され、再テストされなかったため、廃止されたコードは 永久にループします。二つ:新しい機能はパワーペグの古いフラグを再利用するため、 同じ「はい」が2つのサーバーで2つの意味を持ちます。 三つ:キルスイッチがない。 出た注文と入った注文を比較するものはありません。SMARSを停止させるものはありません。 リスクモニターは人間が監視する画面であり、限度額は表示されません。 git blame:新しいフラグの代わりに再利用されたフラグ、9年間呼び出し可能だったデッドコード、
2:00 そしてセカンドペアの目がない手動デプロイ。 技術者ではありません。 SECの命令書は彼を名指しせず、私もそうしません。 被害範囲:4億6,000万ドル、およそ毎分1,000万ドル。 株価は63%下落して2ドル58セントに、1株あたり1ドル50セントで4億ドルの救済、 クリスマスまでにGetcoとの合併。 Hacker News、木曜日:なぜ人間が介入せずに45分間も実行されたのか? そうではありません。人間が事態を悪化させました。
2:25 評決、事後検証:revert。 ナイトは自身の事後検証書を書かず、規制当局が 14ヶ月後に書き、修正は罰金と合併です。 月曜日:新機能、新フラグ。デッドコードは無効にせず、 削除される。注文を送信するものはすべてオフスイッチが付けられる。 あなたがまだ話すことが許されていないインシデントを、 コメント欄、またはthedailydiff.devまで送ってください。 今日のdiffはここまでです。
2:48 Axrisiのニコアです。 責任を持ってマージしてください。
情報源
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com



