Un desplegament a 7 de 8 servidors va perdre 460 milions de dòlars. 45 minuts.
1 d'agost de 2012, 9:30 a.m.
1 d'agost de 2012, 9:30 a.m. ET: Knight Capital, el creador de mercat darrere d'aproximadament una desena part de tot el comerç de valors dels EUA, acaba de desplegar nou codi d'encaminament d'ordres a set dels seus vuit servidors SMARS. El vuitè encara executa "Power Peg", codi retirat el 2003, darrere de la mateixa bandera que la nova funció reutilitza. Durant 45 minuts envia ordres "fill" que mai s'aturen: 4 milions d'execucions, 397 milions d'accions, uns 7 mil milions de dòlars en posicions, una pèrdua de 460 milions de dòlars. 97 correus electrònics d'advertència havien arribat abans de l'obertura. Postmortem, de l'ordre de la SEC: el desplegament manual que ningú va revisar, la bandera amb dos significats, el comptador de "stop" mogut el 2005 i mai tornat a provar, l'interruptor de "kill" que no existia, i la "solució" en un mercat en directe que ho va empitjorar. Veredicte sobre la solució: REVERT.
Llegeix l'edició escrita (anglès) ↗
Què cobreix aquest vídeo
- 27-31 de juliol de 2012: codi RLP copiat manualment a 7 de 8 servidors SMARS; sense segon revisor, sense procediment escrit
- 1 d'agost, 8:01 a.m.: 97 correus electrònics de "Power Peg disabled" abans de l'obertura; no dissenyats com a alertes, no llegits
- 1 d'agost, 9:30–10:15: 212 ordres esdevenen 4M d'execucions en 154 valors; 3.500 milions de dòlars llarg, 3.150 milions de dòlars curt; 460 milions de dòlars perduts; desinstal·lar el nou codi ho empitjora
- 2 d'agost – 19 de desembre: accions -63% a 2.58 dòlars, rescat de 400 milions de dòlars a 1.50 dòlars/acció, fusió amb GETCO; octubre de 2013: multa de 12 milions de dòlars de la SEC, primer cas de la Market Access Rule
Preguntes i respostes
Què va causar la pèrdua comercial de Knight Capital a l'agost de 2012?
Knight Capital va desplegar manualment un nou codi d'encaminament d'ordres a set dels seus vuit servidors SMARS. El vuitè encara executava Power Peg, un codi retirat el 2003, darrere de la mateixa bandera que la nova funció va reutilitzar. Segons l'ordre de la SEC, va enviar ordres secundàries per a 212 ordres de clients i mai va parar, produint 4 milions d'execucions i 397 milions d'accions en uns 45 minuts, i una pèrdua de 460 milions de dòlars.
Per què és perillós reutilitzar una bandera de característica antiga per a un codi nou?
El mateix valor de la bandera significa dues coses diferents en servidors diferents. En el cas de Knight, la nova funció va reutilitzar la bandera antiga de Power Peg, de manera que la mateixa configuració va habilitar el nou comportament en set servidors i el codi retirat de Power Peg en el vuitè. El comptador d'aturada de Power Peg també s'havia mogut el 2005 i mai es va tornar a provar, de manera que el codi retirat va entrar en un bucle infinit.
Per què els advertiments o controls no van aturar les ordres descontrolades de Knight Capital abans?
Noranta-set correus electrònics amb el missatge "Power Peg disabled" van arribar abans de l'obertura, però no estaven dissenyats com a alertes i ningú els va llegir. Res comparava les ordres sortints amb les ordres entrants, i no hi havia un interruptor d'aturada. El monitor de riscos era una pantalla vigilada per humans que no mostrava els límits. Els enginyers van desinstal·lar el nou codi dels set servidors bons, cosa que va activar Power Peg a tot arreu.
Què va passar amb Knight Capital després de l'error comercial de 2012?
Les accions van caure un 63% fins a 2,58 dòlars, i Knight va rebre un rescat de 400 milions de dòlars a 1,50 dòlars per acció. Va acordar una fusió amb GETCO per Nadal de 2012. El 2013, la SEC va multar Knight amb 12 milions de dòlars en el seu primer cas de la Market Access Rule i va escriure la postmortem, uns catorze mesos després de l'incident.
Què haurien de canviar els equips d'enginyeria després de l'incident de Knight Capital?
El veredicte de The Daily Diff va ser REVERT. Els canvis de l'episodi són donar a cada nova característica una nova bandera, eliminar el codi mort en lloc de deshabilitar-lo, i donar a qualsevol cosa que enviï ordres un interruptor d'apagada. També va assenyalar que Knight mai va escriure el seu propi postmortem. La SEC ho va fer, i el desplegament manual no va tenir un segon revisor ni un procediment escrit.
Transcripció traduïda
Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.
0:00 Una empresa de comerç desplega nou codi a set de vuit servidors, i el vuitè compra i ven prop de set mil milions de dòlars en accions en quaranta-cinc minuts, que és molt, fins i tot per un dimecres. 1 d'agost de 2012. Knight Capital, una desena part de tot el comerç de valors dels EUA, reporta una pèrdua de 440 milions de dòlars. La SEC més tard en compta més de 460, multa a Knight amb dotze milions, i escriu el propi postmortem: deu pàgines, zero adjectius.
0:25 Com succeeix, per què és possible i qui és realment el culpable. Això és The Daily Diff, postmortem. 27 de juliol. La Borsa de Nova York llança un programa de liquiditat minorista l'1 d'agost, així que Knight copia nou codi a SMARS, el seu encaminador d'ordres, uns quants servidors al dia, manualment. Un tècnic, vuit servidors, set còpies. Ningú comprova; cap norma diu que ningú hagi de fer-ho. 8:01 a.m. Un sistema intern comença a enviar per correu electrònic al personal un error que diu: Power
0:51 Peg desactivat. Noranta-set correus electrònics abans de l'obertura. No estan dissenyats com a alertes, així que ningú els llegeix, que és una decisió de disseny amb un preu. 9:30, el mercat obre. Set servidors executen el nou codi. El vuitè veu la mateixa bandera i executa Power Peg en el seu lloc: codi que Knight va retirar el 2003 i mai va esborrar. Envia ordres "fill" per a 212 ordres de clients, i mai s'atura.
1:13 Quatre milions d'execucions. 397 milions d'accions. Un compte de manteniment supera el seu límit de dos milions de dòlars, que no està connectat a res. Els enginyers, en un mercat en directe, desinstal·len el nou codi dels set servidors bons, cosa que activa Power Peg a tot arreu. Al voltant de les 10:15 s'atura: tres mil cinc-cents milions de dòlars llargs, tres mil cent cinquanta milions de dòlars curts.
1:31 Un: la condició de "stop" de Power Peg, el comptador que diu que l'ordre "parent" està omplerta, es mou el 2005 i mai es torna a provar, així que el codi retirat es repeteix infinitament. Dos: la nova funció reutilitza l'antiga bandera de Power Peg, així que el mateix "sí" significa dues coses en dos servidors. Tres: no hi ha interruptor de "kill". Res compara les ordres de sortida amb les d'entrada; res atura SMARS. El monitor de risc és una pantalla observada per humans; no mostra els límits. git blame: una bandera reutilitzada en lloc d'una de nova, codi mort invocable durant nou
2:00 anys, i un desplegament manual sense un segon parell d'ulls. No el tècnic. L'ordre de la SEC mai el nomena, i jo tampoc ho faré. Radi de detonació: 460 milions de dòlars, aproximadament deu milions per minut. Accions un 63 per cent menys, a dos dòlars cinquanta-vuit, un rescat de 400 milions de dòlars a un dòlar cinquanta per acció, una fusió amb Getco per Nadal. Hacker News, dijous: com va funcionar 45 minuts sense que intervingués un humà? No ho va fer. Els humans ho van empitjorar.
2:25 Veredicte, postmortem: REVERT. Knight mai escriu el seu propi postmortem; el regulador ho fa, catorze mesos després, i la solució és una multa i una fusió. Dilluns: nova funció, nova bandera; el codi mort s'esborra, no es desactiva; qualsevol cosa que envia ordres té un interruptor d'apagada. Envieu-me l'incident del qual encara no teniu permís per parlar, als comentaris, o a the daily diff dot dev. I aquesta és la diferència per avui.
2:48 Sóc Niko d'Axrisi. Fusioneu amb responsabilitat.
Fonts
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com



