Isang deploy sa 7 sa 8 server ang nalugi ng $460 milyon. 45 minuto.
Agosto 1, 2012, 9:30 a.m.
Agosto 1, 2012, 9:30 a.m. ET: Ang Knight Capital, ang market maker sa likod ng humigit-kumulang ikasampu ng lahat ng U.S. stock trading, ay nag-deploy lang ng bagong order-routing code sa pito sa walong SMARS server nito. Ang ikawalo ay tumatakbo pa rin ng "Power Peg", code na inalis noong 2003, sa likod ng mismong flag na muling ginamit ng bagong feature. Sa loob ng 45 minuto ay nagpadala ito ng mga child order na hindi humihinto: 4 milyong executions, 397 milyong shares, humigit-kumulang $7 bilyon ng posisyon, isang $460 milyong pagkalugi. 97 na babalang e-mail ang dumating bago magbukas. Postmortem, mula sa sariling order ng SEC: ang manual deploy na walang nagrepaso, ang flag na may dalawang kahulugan, ang stop-counter na inilipat noong 2005 at hindi na muling nasubukan, ang kill switch na hindi umiral, at ang "fix" sa isang live na merkado na nagpalala rito. Verdict sa fix: REVERT.
Basahin ang nakasulat na edisyon (English) ↗
Ang sakop ng video na ito
- Hulyo 27–31, 2012: Kinopya nang mano-mano ang RLP code sa 7 sa 8 SMARS server; walang pangalawang tagarepaso, walang nakasulat na pamamaraan
- Agosto 1, 8:01 a.m.: 97 na e-mail na "Power Peg disabled" bago magbukas; hindi idinisenyo bilang mga alerto, hindi nabasa
- Agosto 1, 9:30–10:15: Ang 212 order ay naging 4M executions sa 154 na stock; $3.5B long, $3.15B short; $460M nawala; ang pag-uninstall ng bagong code ay nagpalala rito
- Agosto 2 – Disyembre 19: shares −63% sa $2.58, $400M na pagliligtas sa $1.50/share, merger sa GETCO; Oktubre 2013: $12M na multa ng SEC, unang kaso ng Market Access Rule
Mga tanong at sagot
Ano ang sanhi ng pagkalugi ng Knight Capital sa kalakalan noong Agosto 2012?
Mano-manong idineploy ng Knight Capital ang bagong code sa pagruruta ng order sa pito sa walong SMARS server nito. Ang ikawalo ay tumatakbo pa rin sa Power Peg, code na iniretiro noong 2003, sa likod ng parehong flag na muling ginamit ng bagong feature. Ayon sa utos ng SEC, nagpadala ito ng mga child order para sa 212 order ng customer at hindi kailanman tumigil, na nagdulot ng 4 na milyong pagpapatupad at 397 milyong shares sa loob ng humigit-kumulang 45 minuto, at pagkalugi na $460 milyon.
Bakit mapanganib ang muling paggamit ng lumang feature flag para sa bagong code?
Ang parehong halaga ng flag ay nangangahulugang dalawang magkaibang bagay sa iba't ibang server. Sa kaso ng Knight, ang bagong feature ay muling ginamit ang lumang flag ng Power Peg, kaya ang parehong setting ay nagbigay-daan sa bagong gawi sa pitong server at ang iniretirong code ng Power Peg sa ikawalo. Ang stop counter ng Power Peg ay inilipat din noong 2005 at hindi kailanman muling sinubukan, kaya ang iniretirong code ay umikot nang walang hanggan.
Bakit hindi napigilan ng mga babala o kontrol ang mga tumatakbong order ng Knight Capital nang mas maaga?
Siyamnapu't pitong email na nagsasabing 'Power Peg disabled' ang dumating bago magsimula, ngunit hindi sila dinisenyo bilang mga alerto at walang nakabasa sa mga ito. Walang nagkumpara ng mga order na lumabas laban sa mga order na pumasok, at walang kill switch. Ang risk monitor ay isang screen na binabantayan ng mga tao na hindi nagpakita ng mga limitasyon. Inalis ng mga inhinyero ang bagong code mula sa pitong magagandang server, na nag-on ng Power Peg sa lahat ng dako.
Ano ang nangyari sa Knight Capital pagkatapos ng glitch sa kalakalan noong 2012?
Bumaba ang shares ng 63% sa $2.58, at kinuha ng Knight ang $400 milyong rescue sa $1.50 bawat share. Sumang-ayon ito sa merger sa GETCO bago ang Pasko 2012. Noong 2013, pinagmulta ng SEC ang Knight ng $12 milyon sa unang kaso nito sa Market Access Rule at isinulat mismo ang postmortem, humigit-kumulang labing-apat na buwan pagkatapos ng insidente.
Ano ang dapat baguhin ng mga engineering team pagkatapos ng insidente ng Knight Capital?
Ang desisyon ng The Daily Diff ay REVERT. Ang mga pagbabago sa episode ay ang pagbibigay ng bawat bagong feature ng bagong flag, pagtanggal ng dead code sa halip na i-disable ito, at pagbibigay ng off switch sa anumang nagpapadala ng mga order. Nabanggit din nito na hindi kailanman isinulat ng Knight ang sarili nitong postmortem. Ginawa ito ng SEC, at ang manual deploy ay walang pangalawang reviewer at walang nakasulat na pamamaraan.
Isinaling transcript
Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.
0:00 Isang firm sa trading ang nag-deploy ng bagong code sa pito sa walong server, at ang ikawalo ay bumibili at nagbebenta ng halos pitong bilyong dolyar ng stock sa apatnapu't limang minuto, na marami, kahit para sa isang Miyerkules. Agosto 1, 2012. Knight Capital, isang ikasampu ng lahat ng U.S. stock trading, nag-ulat ng 440 milyong dolyar na pagkalugi. Kalaunan ay binilang ng SEC ang higit sa 460, pinagmulta ang Knight ng labindalawang milyon, at isinulat mismo ang postmortem: sampung pahina, zero adjectives.
0:25 Paano ito nangyari, bakit ito posible, at sino talaga ang may kasalanan. Ito ang The Daily Diff, postmortem. Hulyo 27. Inilunsad ng New York Stock Exchange ang isang retail liquidity program sa Agosto 1, kaya kinopya ng Knight ang bagong code sa SMARS, ang order router nito, ilang server kada araw, nang mano-mano. Isang technician, walong server, pitong kopya. Walang nagche-check; walang panuntunan ang nagsasaad na kailangan. 8:01 a.m. Isang panloob na sistema ang nagsimulang mag-email ng error sa staff na nagsasaad: Power
0:51 Peg disabled. Siyamnapu't pitong email bago magbukas. Hindi sila idinisenyo bilang mga alerto, kaya walang nagbabasa sa kanila, na isang desisyon sa disenyo na may presyo. 9:30, magbubukas ang merkado. Pitong server ang nagpapatakbo ng bagong code. Ang ikawalo ay nakikita ang parehong flag at nagpapatakbo ng Power Peg sa halip: code na inalis ng Knight noong 2003 at hindi kailanman binura. Nagpapadala ito ng mga child order para sa 212 customer order, at hindi humihinto.
1:13 Apat na milyong executions. 397 milyong shares. Ang isang holding account ay lumobo lampas sa dalawang milyong dolyar na limitasyon nito, na walang koneksyon sa anuman. Ang mga inhinyero, sa isang live na merkado, ay in-uninstall ang bagong code mula sa pitong magandang server, na nagbukas ng Power Peg sa lahat ng dako. Bandang 10:15 ito humihinto: tatlo at kalahating bilyong long, tatlong punto kinse bilyong short.
1:31 Isa: ang stop condition ng Power Peg, ang counter na nagsasaad na ang parent order ay puno, ay inilipat noong 2005 at hindi na muling nasubukan, kaya ang retired code naglo-loop magpakailanman. Dalawa: ang bagong feature ay muling ginamit ang lumang flag ng Power Peg, kaya ang parehong oo ay nangangahulugang dalawang bagay sa dalawang server. Tatlo: walang kill switch. Walang naghahambing ng mga order out laban sa mga order in; walang nagpapahinto sa SMARS. Ang risk monitor ay isang screen na pinapanood ng mga tao; hindi nito ipinapakita ang mga limitasyon. git blame: isang flag na muling ginamit sa halip na bago, dead code na maaaring tawagan sa loob ng siyam
2:00 na taon, at isang manual deploy na walang pangalawang pares ng mata. Hindi ang technician. Hindi siya kailanman pinangalanan ng order ng SEC, at hindi rin ako. Blast radius: 460 milyong dolyar, humigit-kumulang sampung milyon kada minuto. Ang mga shares ay bumaba ng 63 porsiyento sa dalawang dolyar limampu't walo, isang 400 milyong dolyar na pagliligtas sa isang dolyar limampu kada share, isang merger sa Getco bago Pasko. Hacker News, Huwebes: paano ito tumakbo ng 45 minuto nang walang taong pumasok? Hindi. Pinagpalala ng mga tao.
2:25 Verdict, postmortem: revert. Hindi kailanman isinulat ng Knight ang sarili nitong postmortem; ang regulator ang gumawa, labing-apat na buwan mamaya, at ang solusyon ay isang multa at isang merger. Lunes: bagong feature, bagong flag; burado ang dead code, hindi disabled; anumang nagpapadala ng order ay magkakaroon ng off switch. Ipadala sa akin ang insidente na hindi mo pa rin pinapayagang pag-usapan, sa mga komento, o sa the daily diff dot dev. At iyan ang diff para sa ngayon.
2:48 Ako si Niko mula sa Axrisi. Merge responsibly.
Mga Pinagmulan
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com



