+− THE DAILY DIFFdev & AI news
REVERT

Nasadenie na 7 z 8 serverov stálo 460 miliónov dolárov. 45 minút.

1.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

1. augusta 2012, 9:30 ráno ET: Knight Capital, tvorca trhu stojaci za zhruba desatinou všetkých obchodov s akciami v USA, práve nasadil nový kód pre smerovanie objednávok na sedem zo svojich ôsmich SMARS serverov. Ôsmy stále používa "Power Peg", kód vyradený v roku 2003, za rovnakým príznakom, ktorý nová funkcia opätovne používa. Počas 45 minút posiela podriadené objednávky, ktoré sa nikdy nezastavia: 4 milióny realizácií, 397 miliónov akcií, pozície v hodnote približne 7 miliárd dolárov, strata 460 miliónov dolárov. Pred otvorením prišlo 97 varovných e-mailov. Posmrtná správa z vlastného príkazu SEC: manuálne nasadenie, ktoré nikto neskontroloval, príznak s dvoma významami, počítadlo zastavenia presunuté v roku 2005 a nikdy znova netestované, vypínač, ktorý neexistoval, a "oprava" na živom trhu, ktorá situáciu zhoršila. Verdikt o oprave: REVERT.

Prečítajte si písanú edíciu (anglicky) ↗

Čo toto video pokrýva

  • 27.–31. júla 2012: Kód RLP ručne skopírovaný na 7 z 8 SMARS serverov; žiadny druhý kontrolór, žiadny písomný postup
  • 1. august, 8:01 ráno: 97 e-mailov „Power Peg disabled“ pred otvorením; nenavrhnuté ako upozornenia, nečítané
  • 1. august, 9:30–10:15: 212 objednávok sa stane 4 miliónmi realizácií v 154 akciách; 3,5 miliardy USD dlhé, 3,15 miliardy USD krátke; strata 460 miliónov USD; odinštalovanie nového kódu situáciu zhoršuje
  • 2. augusta – 19. decembra: akcie -63 % na 2,58 USD, záchrana vo výške 400 miliónov USD za 1,50 USD/akciu, fúzia s GETCO; október 2013: pokuta SEC 12 miliónov USD, prvý prípad pravidla Market Access Rule

Otázky a odpovede

Čo spôsobilo obchodnú stratu Knight Capital v auguste 2012?

Knight Capital ručne nasadil nový kód na smerovanie objednávok na sedem zo svojich ôsmich serverov SMARS. Ôsmy stále používal Power Peg, kód stiahnutý v roku 2003, za rovnakým príznakom, ktorý nová funkcia opätovne použila. Podľa príkazu SEC poslal podriadené objednávky pre 212 zákazníckych objednávok a nikdy neprestal, čím za približne 45 minút vyprodukoval 4 milióny exekúcií a 397 miliónov akcií, a stratu 460 miliónov dolárov.

www.sec.gov · www.sec.gov

Prečo je opätovné použitie starého príznaku funkcie pre nový kód nebezpečné?

Rovnaká hodnota príznaku potom znamená dve rôzne veci na rôznych serveroch. V prípade Knight Capital nová funkcia opätovne použila starý príznak Power Peg, takže rovnaké nastavenie povolilo nové správanie na siedmich serveroch a stiahnutý kód Power Peg na ôsmom. Počítadlo zastavenia Power Peg bolo tiež presunuté v roku 2005 a nikdy nebolo znovu otestované, takže stiahnutý kód bežal v nekonečnej slučke.

www.sec.gov

Prečo varovania alebo kontroly nezastavili nekontrolovateľné objednávky Knight Capital skôr?

Deväťdesiatsedem e-mailov s textom „Power Peg disabled“ prišlo pred otvorením, ale neboli navrhnuté ako upozornenia a nikto ich nečítal. Nič neporovnávalo odoslané objednávky s prijatými objednávkami a neexistoval žiadny „kill switch“. Monitor rizika bol obrazovkou sledovanou ľuďmi, ktorá nezobrazovala limity. Inžinieri odinštalovali nový kód zo siedmich funkčných serverov, čo všade zaplo Power Peg.

www.sec.gov · www.sec.gov

Čo sa stalo s Knight Capital po obchodnej chybe v roku 2012?

Akcie klesli o 63 % na 2,58 dolára a Knight prijal záchranu vo výške 400 miliónov dolárov za 1,50 dolára za akciu. Do Vianoc 2012 sa dohodol na fúzii s GETCO. V roku 2013 SEC udelila Knight pokutu 12 miliónov dolárov vo svojom prvom prípade podľa pravidiel prístupu na trh a sama napísala analýzu po incidente, približne štrnásť mesiacov po udalosti.

www.sec.gov · www.sec.gov · www.sec.gov

Čo by mali inžinierske tímy zmeniť po incidente Knight Capital?

Rozsudok The Daily Diff bol REVERT. Zmeny po tejto epizóde sú: dať každej novej funkcii nový príznak, mŕtvy kód radšej odstrániť ako ho vypnúť a čomukoľvek, čo odosiela objednávky, dať vypínač. Tiež poznamenal, že Knight nikdy nenapísal vlastnú analýzu po incidente. Urobila to SEC a ručné nasadenie nemalo druhého recenzenta ani písomný postup.

www.sec.gov · www.sec.gov

Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

0:00 Obchodná firma nasadí nový kód na sedem z ôsmich serverov, a ôsmy kúpi a predá akcie za takmer sedem miliárd dolárov za štyridsaťpäť minút, čo je veľa, aj na stredu. 1. augusta 2012. Knight Capital, desatina všetkých amerických obchodov s akciami, hlási stratu 440 miliónov dolárov. SEC neskôr spočíta viac ako 460, udelí pokutu Knightovi dvanásť miliónov, a napíše posmrtnú správu sama: desať strán, nula prídavných mien.

0:25 Ako sa to stalo, prečo je to možné a kto je vlastne na vine. Toto je The Daily Diff, posmrtná správa. 27. júla. Newyorská burza spúšťa program retailovej likvidity 1. augusta, takže Knight kopíruje nový kód na SMARS, svoj smerovač objednávok, niekoľko serverov denne, ručne. Jeden technik, osem serverov, sedem kópií. Nikto nekontroluje; žiadne pravidlo nehovorí, že niekto musí. 8:01 ráno. Interný systém začne zamestnancom e-mailovať chybu, ktorá znie: Power

0:51 Peg disabled. Deväťdesiatsedem e-mailov pred otvorením. Nie sú navrhnuté ako upozornenia, takže ich nikto nečíta, čo je rozhodnutie o dizajne s cenovkou. 9:30, trh sa otvára. Sedem serverov spúšťa nový kód. Ôsmy vidí rovnaký príznak a namiesto toho spúšťa Power Peg: kód, ktorý Knight vyradil v roku 2003 a nikdy nevymazal. Posiela podriadené objednávky pre 212 zákazníckych objednávok a nikdy sa nezastaví.

1:13 Štyri milióny realizácií. 397 miliónov akcií. Účet držby prekračuje svoj limit dvoch miliónov dolárov, ktorý nie je pripojený k ničomu. Inžinieri na živom trhu odinštalujú nový kód zo siedmich dobrých serverov, čím sa Power Peg zapne všade. Okolo 10:15 sa zastaví: tri a pol miliardy dlhé, tri celá pätnásť miliardy krátke.

1:31 Jeden: Podmienka zastavenia Power Pegu, počítadlo, ktoré hovorí, že materská objednávka je vyplnená, je presunutá v roku 2005 a nikdy znova netestovaná, takže vyradený kód beží donekonečna. Dva: nová funkcia opätovne používa starý príznak Power Pegu, takže rovnaké "áno" znamená dve veci na dvoch serveroch. Tri: žiadny vypínač. Nič neporovnáva prichádzajúce objednávky s odchádzajúcimi; nič nezastavuje SMARS. Monitor rizika je obrazovka sledovaná ľuďmi; neukazuje limity. git blame: príznak opätovne použitý namiesto nového, mŕtvy kód volateľný deväť

2:00 rokov a manuálne nasadenie bez druhého páru očí. Nie technik. Príkaz SEC ho nikdy nemenuje, a ja tiež nie. Dosah výbuchu: 460 miliónov dolárov, približne desať miliónov za minútu. Akcie dole o 63 percent na dva doláre päťdesiatosem, záchrana 400 miliónov dolárov za dolár päťdesiat za akciu, fúzia s Getco do Vianoc. Hacker News, štvrtok: ako to bežalo 45 minút bez ľudského zásahu? Nebolo. Ľudia to zhoršili.

2:25 Verdikt, posmrtná správa: REVERT. Knight nikdy nepíše vlastnú posmrtnú správu; robí to regulátor, o štrnásť mesiacov neskôr, a riešením je pokuta a fúzia. Pondelok: nová funkcia, nový príznak; mŕtvy kód sa vymaže, nie vypne; čokoľvek, čo posiela objednávky, dostane vypínač. Pošlite mi incident, o ktorom stále nesmiete hovoriť, v komentároch, alebo na the daily diff dot dev. A to je rozdiel pre dnešok.

2:48 Som Niko z Axrisi. Zlučujte zodpovedne.

Zdroje

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Súvisiace videá