+− THE DAILY DIFFdev & AI news
REVERT

En udrulning til 7 ud af 8 servere tabte 460 millioner dollars. 45 minutter.

1.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

1. august 2012, kl. 9:30 ET: Knight Capital, markedsformidleren bag omtrent en tiendedel af al amerikansk aktiehandel, har netop udrullet ny ordre-routingkode til syv af sine otte SMARS-servere. Den ottende kører stadig "Power Peg", kode pensioneret i 2003, bag netop det flag, som den nye funktion genbruger. I 45 minutter sender den datterordrer, der aldrig stopper: 4 millioner eksekveringer, 397 millioner aktier, omkring 7 milliarder dollars i positioner, et tab på 460 millioner dollars. 97 advarsels-e-mails var ankommet før åbningen. Postmortem, fra SEC's egen ordre: den manuelle udrulning, ingen gennemgik, flaget med to betydninger, stop-tælleren flyttet i 2005 og aldrig gentestet, den kill-switch, der ikke eksisterede, og "rettelsen" på et live marked, der gjorde det værre. Dom over rettelsen: REVERT.

Læs den skriftlige udgave (engelsk) ↗

Hvad denne video dækker

  • 27.-31. juli 2012: RLP-kode kopieret manuelt til 7 af 8 SMARS-servere; ingen anden anmelder, ingen skriftlig procedure
  • 1. aug., 8:01 a.m.: 97 "Power Peg disabled" e-mails før åbningen; ikke designet som alarmer, ikke læst
  • 1. aug., 9:30–10:15: 212 ordrer bliver til 4M eksekveringer i 154 aktier; $3,5B long, $3,15B short; $460M tabt; afinstallation af den nye kode gør det værre
  • 2. aug. – 19. dec.: aktier -63% til $2.58, $400M redning til $1.50/aktie, fusion med GETCO; okt. 2013: $12M SEC-bøde, første Market Access Rule-sag

Spørgsmål og svar

Hvad forårsagede Knight Capitals handelstab i august 2012?

Knight Capital implementerede ny ordreroutingkode manuelt på syv af sine otte SMARS-servere. Den ottende kørte stadig Power Peg, kode der blev udfaset i 2003, bag det samme flag, som den nye funktion genbrugte. Ifølge SEC-ordren sendte den underordnede ordrer for 212 kundeordrer og stoppede aldrig, hvilket resulterede i 4 millioner udførelser og 397 millioner aktier på omkring 45 minutter, og et tab på 460 millioner dollars.

www.sec.gov · www.sec.gov

Hvorfor er genbrug af et gammelt funktionsflag til ny kode farligt?

Den samme flagværdi betyder så to forskellige ting på forskellige servere. I Knights tilfælde genbrugte den nye funktion Power Pegs gamle flag, så den samme indstilling aktiverede ny adfærd på syv servere og den udfasede Power Peg-kode på den ottende. Power Pegs stop-tæller var også blevet flyttet i 2005 og aldrig gentestet, så den udfasede kode kørte uendeligt.

www.sec.gov

Hvorfor stoppede advarsler eller kontroller ikke Knight Capitals løbske ordrer hurtigere?

Syvoghalvfems e-mails med teksten "Power Peg deaktiveret" ankom før åbningen, men de var ikke designet som advarsler, og ingen læste dem. Intet sammenlignede udgående ordrer med indgående ordrer, og der var ingen 'kill switch'. Risikomonitoren var en skærm, der blev overvåget af mennesker, som ikke viste grænserne. Ingeniører afinstallerede den nye kode fra de syv gode servere, hvilket tændte Power Peg overalt.

www.sec.gov · www.sec.gov

Hvad skete der med Knight Capital efter handelsfejlen i 2012?

Aktierne faldt 63% til 2,58 dollars, og Knight modtog en redning på 400 millioner dollars til 1,50 dollars per aktie. De indgik en aftale om fusion med GETCO inden jul 2012. I 2013 idømte SEC Knight en bøde på 12 millioner dollars i deres første sag om markedsadgangsregler og skrev selv obduktionen, omkring fjorten måneder efter hændelsen.

www.sec.gov · www.sec.gov · www.sec.gov

Hvad bør ingeniørteam ændre efter Knight Capital-hændelsen?

The Daily Diffs dom var REVERT. Episodens ændringer er at give hver ny funktion et nyt flag, slette død kode i stedet for at deaktivere den, og give alt, der sender ordrer, en afbryder. Det bemærkede også, at Knight aldrig skrev sin egen obduktion. SEC gjorde det, og den manuelle implementering havde ingen anden anmelder og ingen skriftlig procedure.

www.sec.gov · www.sec.gov

Oversat udskrift

Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube.

0:00 Et handelsfirma udruller ny kode til syv ud af otte servere, og den ottende køber og sælger næsten syv milliarder dollars i aktier på femogfyrre minutter, hvilket er meget, selv for en onsdag. 1. august 2012. Knight Capital, en tiendedel af al amerikansk aktiehandel, rapporterer et tab på 440 millioner dollars. SEC tæller senere mere end 460, bødelægger Knight tolv millioner, og skriver selv obduktionen: ti sider, nul adjektiver.

0:25 Hvordan det sker, hvorfor det er muligt, og hvem der faktisk får skylden. Dette er The Daily Diff, postmortem. 27. juli. New York Stock Exchange lancerer et detail likviditetsprogram den 1. august, så Knight kopierer ny kode til SMARS, dens ordrerouter, et par servere om dagen, manuelt. Én tekniker, otte servere, syv kopier. Ingen kontrollerer; ingen regel siger, at nogen skal. 8:01 a.m. Et internt system begynder at e-maile personalet en fejl, der lyder: Power

0:51 Peg deaktiveret. Halvfems-syv e-mails før åbningen. De er ikke designet som alarmer, så ingen læser dem, hvilket er en designbeslutning med en pris. 9:30, markedet åbner. Syv servere kører den nye kode. Den ottende ser det samme flag og kører Power Peg i stedet: kode Knight pensionerede i 2003 og aldrig slettede. Den sender datterordrer for 212 kundeordrer og stopper aldrig.

1:13 Fire millioner eksekveringer. 397 millioner aktier. En beholdningskonto svulmer over sin to-million-dollar grænse, som ikke er forbundet til noget. Ingeniørerne afinstallerer, på et live marked, den nye kode fra de syv gode servere, hvilket tænder Power Peg overalt. Omkring 10:15 stopper det: tre og en halv milliard lang, tre komma femten milliarder kort.

1:31 Én: Power Pegs stopbetingelse, tælleren der siger, at forældreordren er udfyldt, flyttes i 2005 og gentestes aldrig, så den pensionerede kode kører i et uendeligt loop. To: den nye funktion genbruger Power Pegs gamle flag, så det samme ja betyder to ting på to servere. Tre: ingen kill switch. Intet sammenligner ordrer ud mod ordrer ind; intet standser SMARS. Risikomonitoren er en skærm overvåget af mennesker; den viser ikke grænserne. git blame: et flag genbrugt i stedet for et nyt, død kode kaldbar i ni

2:00 år, og en manuel udrulning uden et andet par øjne. Ikke teknikeren. SEC-ordren navngiver ham aldrig, og det vil jeg heller ikke. Sprængradius: 460 millioner dollars, omtrent ti millioner i minuttet. Aktier ned 63 procent til to dollars otteoghalvtreds, en redning på 400 millioner dollars til en dollar halvtreds pr. aktie, en fusion med Getco til jul. Hacker News, torsdag: hvordan kørte den 45 minutter uden at et menneske trådte ind? Det gjorde den ikke. Menneskene gjorde det værre.

2:25 Dom, postmortem: REVERT. Knight skriver aldrig sin egen postmortem; regulatoren gør det, fjorten måneder senere, og løsningen er en bøde og en fusion. Mandag: ny funktion, nyt flag; død kode slettes, ikke deaktiveres; alt, der sender ordrer, får en afbryder. Send mig hændelsen, du stadig ikke må tale om, i kommentarerne, eller på the daily diff dot dev. Og det er The Daily Diff for i dag.

2:48 Jeg er Niko fra Axrisi. Flet ansvarligt.

Kilder

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Relaterede videoer