+− THE DAILY DIFFdev & AI news
REVERT

Nasazení na 7 z 8 serverů způsobilo ztrátu 460 milionů dolarů. 45 minut.

1.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

1. srpna 2012, 9:30 dopoledne ET: Knight Capital, tvůrce trhu stojící za zhruba desetinou veškerého obchodování s americkými akciemi, právě nasadil nový kód pro směrování objednávek na sedm z osmi svých serverů SMARS. Osmý stále běží „Power Peg“, kód vyřazený v roce 2003, za stejným příznakem, který nová funkce znovu používá. Po dobu 45 minut odesílá dílčí objednávky, které se nikdy nezastaví: 4 miliony provedení, 397 milionů akcií, pozice v hodnotě asi 7 miliard dolarů, ztráta 460 milionů dolarů. Před otevřením dorazilo 97 varovných e-mailů. Postmortem, z vlastního nařízení SEC: ruční nasazení, které nikdo nezkontroloval, příznak se dvěma významy, stop-čítač přesunutý v roce 2005 a nikdy znovu netestovaný, nouzový vypínač, který neexistoval, a „oprava“ na živém trhu, která situaci ještě zhoršila. Verdikt k opravě: REVERT.

Přečtěte si psané vydání (anglicky) ↗

Co toto video pokrývá

  • 27.–31. července 2012: Kód RLP ručně zkopírován na 7 z 8 serverů SMARS; žádný druhý kontrolor, žádný písemný postup
  • 1. srpna, 8:01 dopoledne: 97 e-mailů „Power Peg disabled“ před otevřením; nebyly navrženy jako upozornění, nebyly čteny
  • 1. srpna, 9:30–10:15: 212 objednávek se stává 4 miliony provedení ve 154 akciích; 3,5 miliardy dolarů dlouhých, 3,15 miliardy dolarů krátkých; ztráta 460 milionů dolarů; odinstalace nového kódu situaci zhoršuje
  • 2. srpna – 19. prosince: akcie −63 % na 2,58 $, záchrana 400 milionů $ za 1,50 $/akcii, fúze s GETCO; říjen 2013: pokuta 12 milionů $ od SEC, první případ podle Market Access Rule

Otázky a odpovědi

Co způsobilo obchodní ztrátu společnosti Knight Capital v srpnu 2012?

Knight Capital nasadil nový kód pro směrování objednávek ručně na sedm z osmi serverů SMARS. Osmý stále používal Power Peg, kód vyřazený v roce 2003, za stejným příznakem, který nová funkce znovu použila. Podle nařízení SEC odeslal podřízené objednávky pro 212 zákaznických objednávek a nikdy se nezastavil, což za přibližně 45 minut vyprodukovalo 4 miliony exekucí a 397 milionů akcií a ztrátu 460 milionů dolarů.

www.sec.gov · www.sec.gov

Proč je opětovné použití starého příznaku funkce pro nový kód nebezpečné?

Stejná hodnota příznaku pak znamená dvě různé věci na různých serverech. V případě Knightova kapitálu nová funkce znovu použila starý příznak Power Peg, takže stejné nastavení aktivovalo nové chování na sedmi serverech a vyřazený kód Power Peg na osmém. Počítadlo zastavení Power Pegu bylo také přesunuto v roce 2005 a nikdy nebylo znovu testováno, takže vyřazený kód se opakoval donekonečna.

www.sec.gov

Proč varování nebo kontroly nezastavily nekontrolované objednávky Knight Capital dříve?

Před otevřením dorazilo devadesát sedm e-mailů s textem „Power Peg disabled“, ale nebyly navrženy jako upozornění a nikdo je nečetl. Nic neporovnávalo odchozí objednávky s příchozími a neexistoval žádný vypínač. Monitor rizik byla obrazovka sledovaná lidmi, která nezobrazovala limity. Inženýři odinstalovali nový kód ze sedmi funkčních serverů, což všude zapnulo Power Peg.

www.sec.gov · www.sec.gov

Co se stalo se společností Knight Capital po obchodní chybě v roce 2012?

Akcie klesly o 63 % na 2,58 dolaru a Knight získal záchranu ve výši 400 milionů dolarů za 1,50 dolaru za akcii. Do Vánoc 2012 se dohodl na fúzi se společností GETCO. V roce 2013 udělila SEC Knightovi pokutu 12 milionů dolarů v prvním případě podle pravidla Market Access Rule a sama napsala posmrtnou zprávu, přibližně čtrnáct měsíců po incidentu.

www.sec.gov · www.sec.gov · www.sec.gov

Co by měly inženýrské týmy změnit po incidentu Knight Capital?

Verdikt The Daily Diff zněl REVERT. Změny v této epizodě spočívají v tom, že každá nová funkce dostane nový příznak, mrtvý kód se smaže, spíše než se zakáže, a cokoli, co odesílá objednávky, dostane vypínač. Také poznamenala, že Knight nikdy nenapsal svou vlastní posmrtnou zprávu. Udělala to SEC a ruční nasazení nemělo druhého revizora ani písemný postup.

www.sec.gov · www.sec.gov

Přeložený přepis

Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.

0:00 Obchodní firma nasazuje nový kód na sedm z osmi serverů, a osmý nakoupí a prodá akcie za téměř sedm miliard dolarů během čtyřiceti pěti minut, což je hodně, i na středu. 1. srpna 2012. Knight Capital, desetina celého amerického obchodování s akciemi, hlásí ztrátu 440 milionů dolarů. SEC později spočítá více než 460, pokutuje Knight dvanácti miliony, a sepíše postmortem sama: deset stránek, žádná adjektiva.

0:25 Jak se to stalo, proč je to možné a kdo nese vinu. Toto je The Daily Diff, postmortem. 27. července. Newyorská burza zahajuje program likvidity pro drobné investory dne 1. srpna, takže Knight kopíruje nový kód na SMARS, svůj směrovač objednávek, několik serverů denně, ručně. Jeden technik, osm serverů, sedm kopií. Nikdo nekontroluje; žádné pravidlo neříká, že to někdo musí dělat. 8:01 dopoledne. Interní systém začne zaměstnancům posílat e-mail s chybou, která zní: Power

0:51 Peg disabled. Devadesát sedm e-mailů před otevřením. Nejsou navrženy jako upozornění, takže je nikdo nečte, což je rozhodnutí o designu s cenovkou. 9:30, trh se otevírá. Sedm serverů spouští nový kód. Osmý vidí stejný příznak a místo toho spouští Power Peg: kód, který Knight vyřadil v roce 2003 a nikdy nesmazal. Odesílá dílčí objednávky pro 212 zákaznických objednávek a nikdy se nezastaví.

1:13 Čtyři miliony provedení. 397 milionů akcií. Účet držení narůstá nad svůj limit dvou milionů dolarů, který není nikam propojen. Inženýři na živém trhu odinstalují nový kód ze sedmi funkčních serverů, což zapne Power Peg všude. Kolem 10:15 se to zastaví: tři a půl miliardy dlouhých, tři celé patnáct setin miliardy krátkých.

1:31 Jedna: Podmínka zastavení Power Pegu, čítač, který říká, že mateřská objednávka je vyplněna, je přesunut v roce 2005 a nikdy znovu netestován, takže vyřazený kód se cykluje navždy. Dva: nová funkce znovu používá starý příznak Power Pegu, takže stejné „ano“ znamená dvě věci na dvou serverech. Tři: žádný nouzový vypínač. Nic neporovnává výstupní objednávky s vstupními; nic nezastaví SMARS. Monitor rizik je obrazovka sledovaná lidmi; nezobrazuje limity. git blame: znovupoužitý příznak namísto nového, mrtvý kód volitelný devět

2:00 let, a ruční nasazení bez druhého páru očí. Ne technik. Nařízení SEC ho nikdy nejmenuje, a ani já nebudu. Dosah výbuchu: 460 milionů dolarů, zhruba deset milionů za minutu. Akcie klesly o 63 procent na dva dolary padesát osm, záchrana 400 milionů dolarů za dolar padesát za akcii, fúze s Getco do Vánoc. Hacker News, čtvrtek: jak to běželo 45 minut, aniž by zasáhl člověk? Neběželo. Lidé to zhoršili.

2:25 Verdikt, postmortem: REVERT. Knight nikdy nenapíše vlastní postmortem; to udělá regulátor, o čtrnáct měsíců později, a řešením je pokuta a fúze. Pondělí: nová funkce, nový příznak; mrtvý kód je smazán, není zakázán; cokoli, co odesílá objednávky, dostane vypínač. Pošlete mi incident, o kterém stále nesmíte mluvit, v komentářích, nebo na the daily diff dot dev. A to je dnešní diff.

2:48 Jsem Niko z Axrisi. Spojujte zodpovědně.

Zdroje

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Související videa