+− THE DAILY DIFFdev & AI news
REVERT

Ein Deployment auf 7 von 8 Servern kostete 460 Millionen Dollar. 45 Minuten.

1.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

1. August 2012, 9:30 Uhr ET: Knight Capital, der Market Maker, der für etwa ein Zehntel des gesamten US-Aktienhandels verantwortlich ist, hat gerade neuen Order-Routing-Code auf sieben seiner acht SMARS-Server implementiert. Der achte Server führt immer noch "Power Peg" aus, einen 2003 ausgemusterten Code, hinter genau dem Flag, das die neue Funktion wiederverwendet. 45 Minuten lang sendet er untergeordnete Aufträge, die niemals aufhören: 4 Millionen Ausführungen, 397 Millionen Aktien, Positionen im Wert von etwa 7 Milliarden Dollar, ein Verlust von 460 Millionen Dollar. 97 Warn-E-Mails waren vor der Eröffnung eingetroffen. Postmortem, aus dem Beschluss der SEC selbst: das manuelle Deployment, das niemand überprüfte, das Flag mit zwei Bedeutungen, der 2005 verschobene und nie erneut getestete Stop-Zähler, der nicht existierende Kill Switch und die "Korrektur" in einem Live-Markt, die alles noch schlimmer machte. Urteil zur Korrektur: REVERT.

Die schriftliche Ausgabe lesen (Englisch) ↗

Was dieses Video behandelt

  • 27.–31. Juli 2012: RLP-Code manuell auf 7 von 8 SMARS-Servern kopiert; kein zweiter Prüfer, kein schriftliches Verfahren
  • 1. August, 8:01 Uhr: 97 "Power Peg disabled" E-Mails vor der Eröffnung; nicht als Warnungen konzipiert, nicht gelesen
  • 1. August, 9:30–10:15 Uhr: 212 Aufträge werden zu 4 Mio. Ausführungen in 154 Aktien; 3,5 Mrd. $ Long, 3,15 Mrd. $ Short; 460 Mio. $ Verlust; Deinstallation des neuen Codes macht es schlimmer
  • 2. August – 19. Dezember: Aktienkurs −63 % auf 2,58 $, 400 Mio. $ Rettung für 1,50 $/Aktie, Fusion mit GETCO; Oktober 2013: 12 Mio. $ SEC-Strafe, erster Fall der Market Access Rule

Fragen und Antworten

Was war die Ursache für den Handelsverlust von Knight Capital im August 2012?

Knight Capital hat neuen Order-Routing-Code von Hand auf sieben seiner acht SMARS-Server eingesetzt. Der achte Server führte noch Power Peg aus, ein Code, der 2003 ausgemustert wurde, hinter demselben Flag, das die neue Funktion wiederverwendete. Gemäß dem SEC-Beschluss sendete er Child-Orders für 212 Kundenaufträge und hörte nie auf, was zu 4 Millionen Ausführungen und 397 Millionen Aktien in etwa 45 Minuten führte und einen Verlust von 460 Millionen Dollar verursachte.

www.sec.gov · www.sec.gov

Warum ist die Wiederverwendung eines alten Feature-Flags für neuen Code gefährlich?

Der gleiche Flag-Wert bedeutet dann auf verschiedenen Servern zwei verschiedene Dinge. Im Fall von Knight Capital wurde für die neue Funktion das alte Flag von Power Peg wiederverwendet, sodass dieselbe Einstellung auf sieben Servern ein neues Verhalten und auf dem achten Server den ausgemusterten Power Peg-Code aktivierte. Der Stoppzähler von Power Peg war außerdem 2005 verschoben und nie erneut getestet worden, sodass der ausgemusterte Code ewig in einer Schleife lief.

www.sec.gov

Warum haben Warnungen oder Kontrollen die außer Kontrolle geratenen Orders von Knight Capital nicht früher gestoppt?

Siebenundneunzig E-Mails mit der Aufschrift „Power Peg deaktiviert“ kamen vor Handelsbeginn an, aber sie waren nicht als Warnmeldungen konzipiert und niemand las sie. Es gab keinen Abgleich zwischen eingehenden und ausgehenden Orders und keinen Notausschalter. Der Risiko-Monitor war ein Bildschirm, der von Menschen überwacht wurde und die Limits nicht anzeigte. Ingenieure deinstallierten den neuen Code von den sieben guten Servern, was Power Peg überall einschaltete.

www.sec.gov · www.sec.gov

Was geschah mit Knight Capital nach der Handelsstörung von 2012?

Die Aktien fielen um 63% auf 2,58 $ und Knight erhielt eine Rettung in Höhe von 400 Millionen $ zu 1,50 $ pro Aktie. Man einigte sich bis Weihnachten 2012 auf eine Fusion mit GETCO. 2013 verhängte die SEC im ersten Fall der Market Access Rule eine Geldstrafe von 12 Millionen $ gegen Knight und verfasste den Postmortem-Bericht selbst, etwa vierzehn Monate nach dem Vorfall.

www.sec.gov · www.sec.gov · www.sec.gov

Was sollten Ingenieurteams nach dem Vorfall bei Knight Capital ändern?

Das Urteil von The Daily Diff lautete REVERT. Die Änderungen dieser Episode bestehen darin, jeder neuen Funktion ein neues Flag zu geben, toten Code zu löschen, anstatt ihn zu deaktivieren, und allem, was Aufträge sendet, einen Ausschalter zu geben. Es wurde auch angemerkt, dass Knight nie einen eigenen Postmortem-Bericht verfasst hat. Die SEC tat dies, und der manuelle Einsatz hatte keinen zweiten Prüfer und keine schriftliche Prozedur.

www.sec.gov · www.sec.gov

Übersetztes Transkript

Aus der englischen Originalerzählung übersetzt. Verfügbare Audio- und Untertitel werden von YouTube gesteuert.

0:00 Eine Handelsfirma spielt neuen Code auf sieben von acht Servern ein, und der achte kauft und verkauft Aktien im Wert von fast sieben Milliarden Dollar in fünfundvierzig Minuten, was viel ist, selbst für einen Mittwoch. 1. August 2012. Knight Capital, ein Zehntel des gesamten US-Aktienhandels, meldet einen Verlust von 440 Millionen Dollar. Die SEC zählt später über 460, verhängt eine Strafe von zwölf Millionen gegen Knight, und schreibt das Postmortem selbst: zehn Seiten, null Adjektive.

0:25 Wie es passiert, warum es möglich ist und wer tatsächlich die Schuld trägt. Dies ist The Daily Diff, Postmortem. 27. Juli. Die New York Stock Exchange startet ein Retail-Liquiditätsprogramm am 1. August, also kopiert Knight neuen Code auf SMARS, seinen Order-Router, einige Server pro Tag, von Hand. Ein Techniker, acht Server, sieben Kopien. Niemand prüft; keine Regel besagt, dass jemand muss. 8:01 Uhr. Ein internes System beginnt, Mitarbeitern eine Fehlermeldung zu mailen, die lautet: Power

0:51 Peg deaktiviert. Siebenundneunzig E-Mails vor der Eröffnung. Sie sind nicht als Warnungen konzipiert, also liest sie niemand, was eine Designentscheidung mit einem Preis ist. 9:30 Uhr, der Markt öffnet. Sieben Server führen den neuen Code aus. Der achte sieht dasselbe Flag und führt stattdessen Power Peg aus: Code, den Knight im Jahr 2003 ausgemustert und nie gelöscht hat. Es sendet untergeordnete Aufträge für 212 Kundenaufträge und hört nie auf.

1:13 Vier Millionen Ausführungen. 397 Millionen Aktien. Ein Holding-Konto übersteigt sein Zwei-Millionen-Dollar-Limit, das an nichts angeschlossen ist. Die Ingenieure deinstallieren in einem Live-Markt den neuen Code von den sieben guten Servern, was Power Peg überall einschaltet. Gegen 10:15 Uhr stoppt es: dreieinhalb Milliarden Long, dreikommafünfzehn Milliarden Short.

1:31 Eins: Die Stoppbedingung von Power Peg, der Zähler, der besagt, dass der übergeordnete Auftrag ausgeführt ist, wird 2005 verschoben und nie erneut getestet, so dass der ausgemusterte Code endlos läuft. Zwei: Die neue Funktion verwendet das alte Flag von Power Peg wieder, so dass dasselbe Ja auf zwei Servern zwei Dinge bedeutet. Drei: kein Kill Switch. Nichts vergleicht ausgehende Aufträge mit eingehenden Aufträgen; nichts stoppt SMARS. Der Risikomonitor ist ein von Menschen überwachter Bildschirm; er zeigt die Limits nicht an. git blame: ein wiederverwendetes statt eines neuen Flags, seit neun

2:00 Jahren aufrufbarer toter Code und ein manuelles Deployment ohne zweite Augen. Nicht der Techniker. Der SEC-Beschluss nennt ihn nie, und ich werde es auch nicht tun. Blast Radius: 460 Millionen Dollar, etwa zehn Millionen pro Minute. Aktienkurs um 63 Prozent auf zwei Dollar achtundfünfzig gefallen, eine 400-Millionen-Dollar-Rettung für einen Dollar fünfzig pro Aktie, eine Fusion mit Getco bis Weihnachten. Hacker News, Donnerstag: Wie lief es 45 Minuten lang, ohne dass ein Mensch eingriff? Das tat es nicht. Die Menschen machten es schlimmer.

2:25 Urteil, Postmortem: REVERT. Knight schreibt nie sein eigenes Postmortem; die Regulierungsbehörde tut es, vierzehn Monate später, und die Korrektur ist eine Geldstrafe und eine Fusion. Montag: neue Funktion, neues Flag; toter Code wird gelöscht, nicht deaktiviert; alles, was Aufträge sendet, erhält einen Ausschalter. Schicken Sie mir den Vorfall, über den Sie immer noch nicht sprechen dürfen, in den Kommentaren oder unter the daily diff dot dev. Und das ist der Unterschied für heute.

2:48 Ich bin Niko von Axrisi. Verantwortungsbewusst mergen.

Quellen

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Ähnliche Videos