O implementare pe 7 din 8 servere a cauzat pierderi de 460 de milioane de dolari. 45 de minute.

Ce acoperă acest videoclip

• 27-31 iul. 2012: Codul RLP copiat manual pe 7 din 8 servere SMARS; fără al doilea revizor, fără procedură scrisă
• 1 aug., 8:01 a.m.: 97 de e-mailuri "Power Peg disabled" înainte de deschidere; nu au fost concepute ca alerte, nu au fost citite
• 1 aug., 9:30–10:15: 212 ordine devin 4M execuții în 154 de acțiuni; 3,5 miliarde dolari long, 3,15 miliarde dolari short; 460 milioane dolari pierduți; dezinstalarea noului cod înrăutățește situația
• 2 aug. – 19 dec.: acțiuni −63% la 2,58 dolari, salvare de 400 milioane dolari la 1,50 dolari/acțiune, fuziune cu GETCO; oct. 2013: amendă SEC de 12 milioane dolari, primul caz conform regulii Market Access

Transcrierea tradusă

Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.

0:00 O firmă de tranzacționare implementează un nou cod pe șapte din opt servere, iar al optulea cumpără și vinde acțiuni în valoare de aproape șapte miliarde de dolari în patruzeci și cinci de minute, ceea ce este mult, chiar și pentru o miercuri. 1 august 2012. Knight Capital, o zecime din toate tranzacțiile bursiere din S.U.A., raportează o pierdere de 440 de milioane de dolari. SEC-ul numără ulterior mai mult de 460, amendează Knight cu douăsprezece milioane, și scrie singur postmortem-ul: zece pagini, zero adjective.

0:25 Cum se întâmplă, de ce este posibil și cine este de fapt de vină. Acesta este The Daily Diff, postmortem. 27 iulie. Bursa de Valori din New York lansează un program de lichiditate cu amănuntul pe 1 august, așa că Knight copiază noul cod pe SMARS, ruterul său de comenzi, câteva servere pe zi, manual. Un tehnician, opt servere, șapte copii. Nimeni nu verifică; nicio regulă nu spune că trebuie. 8:01 a.m. Un sistem intern începe să trimită prin e-mail personalului o eroare care spune: Power

0:51 Peg dezactivat. Nouăzeci și șapte de e-mailuri înainte de deschidere. Nu sunt concepute ca alerte, așa că nimeni nu le citește, ceea ce este o decizie de design cu un preț. 9:30, piața se deschide. Șapte servere rulează noul cod. Al optulea vede același indicator și rulează Power Peg în schimb: cod pe care Knight l-a retras în 2003 și nu l-a șters niciodată. Trimite ordine copil pentru 212 comenzi ale clienților și nu se oprește niciodată.

1:13 Patru milioane de execuții. 397 de milioane de acțiuni. Un cont de deținere depășește limita sa de două milioane de dolari, care nu este conectat la nimic. Inginerii, într-o piață live, dezinstalează noul cod de pe cele șapte servere bune, ceea ce pornește Power Peg peste tot. În jurul orei 10:15 se oprește: trei miliarde și jumătate long, trei virgulă cincisprezece miliarde short.

1:31 Unu: condiția de oprire a lui Power Peg, contorul care spune că ordinul părinte este completat, este mutat în 2005 și niciodată retestat, așa că codul retras intră într-o buclă infinită. Doi: noua funcționalitate refolosește vechiul indicator al lui Power Peg, așa că același "da" înseamnă două lucruri pe două servere. Trei: nu există un întrerupător de urgență. Nimic nu compară ordinele de ieșire cu cele de intrare; nimic nu oprește SMARS. Monitorul de risc este un ecran urmărit de oameni; nu arată limitele. git blame: un indicator refolosit în loc de unul nou, cod mort apelabil timp de nouă

2:00 ani, și o implementare manuală fără o a doua pereche de ochi. Nu tehnicianul. Ordinul SEC nu-l numește niciodată, și nici eu nu o voi face. Raza de impact: 460 de milioane de dolari, aproximativ zece milioane pe minut. Acțiuni în scădere cu 63 la sută până la doi dolari cincizeci și opt, o salvare de 400 de milioane de dolari la un dolar cincizeci pe acțiune, o fuziune cu Getco până la Crăciun. Hacker News, joi: cum a funcționat 45 de minute fără intervenția unui om? Nu a funcționat. Oamenii au înrăutățit situația.

2:25 Verdict, postmortem: REVERT. Knight nu-și scrie niciodată propriul postmortem; regulatorul o face, paisprezece luni mai târziu, iar soluția este o amendă și o fuziune. Luni: funcționalitate nouă, indicator nou; codul mort este șters, nu dezactivat; orice trimite ordine primește un întrerupător de oprire. Trimite-mi incidentul despre care încă nu ai voie să vorbești, în comentarii, sau la the daily diff dot dev. Și asta e diferența pentru astăzi.

2:48 Sunt Niko de la Axrisi. Fuzionați responsabil.

Surse

1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com