+− THE DAILY DIFFdev & AI news
REVERT

Un déploiement sur 7 des 8 serveurs a coûté 460 millions de dollars. 45 minutes.

1er août 2012, 9h30 ET : Knight Capital, le teneur de marché à l'origine d'environ un dixième de toutes les transactions boursières américaines, vient de déployer un nouveau code de routage d'ordres sur sept de ses huit serveurs SMARS.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

1er août 2012, 9h30 ET : Knight Capital, le teneur de marché à l'origine d'environ un dixième de toutes les transactions boursières américaines, vient de déployer un nouveau code de routage d'ordres sur sept de ses huit serveurs SMARS. Le huitième exécute toujours "Power Peg", un code retiré en 2003, derrière le drapeau même que la nouvelle fonctionnalité réutilise. Pendant 45 minutes, il envoie des ordres enfants qui ne s'arrêtent jamais : 4 millions d'exécutions, 397 millions d'actions, environ 7 milliards de dollars de positions, une perte de 460 millions de dollars. 97 e-mails d'avertissement étaient arrivés avant l'ouverture. Postmortem, d'après l'ordonnance de la SEC elle-même : le déploiement manuel que personne n'a examiné, le drapeau à double sens, le compteur d'arrêt déplacé en 2005 et jamais retesté, l'interrupteur d'urgence qui n'existait pas, et le "correctif" sur un marché en direct qui a aggravé la situation. Verdict sur le correctif : REVERT.

Lire l'édition écrite (anglais) ↗

Ce que couvre cette vidéo

  • 27-31 juil. 2012 : le code RLP est copié à la main sur 7 des 8 serveurs SMARS ; pas de deuxième relecteur, pas de procédure écrite
  • 1er août, 8h01 : 97 e-mails "Power Peg désactivé" avant l'ouverture ; non conçus comme des alertes, non lus
  • 1er août, 9h30-10h15 : 212 ordres deviennent 4M d'exécutions sur 154 titres ; 3,5 milliards de dollars à l'achat, 3,15 milliards de dollars à la vente ; 460 millions de dollars perdus ; la désinstallation du nouveau code aggrave la situation
  • 2 août – 19 déc. : actions −63% à 2,58 $, sauvetage de 400M $ à 1,50 $/action, fusion avec GETCO ; oct. 2013 : pénalité de 12M $ de la SEC, première affaire de la règle d'accès au marché

Questions et réponses

Qu'est-ce qui a causé la perte de trading de Knight Capital en août 2012?

Knight Capital a déployé manuellement un nouveau code de routage d'ordres sur sept de ses huit serveurs SMARS. Le huitième exécutait toujours Power Peg, un code retiré en 2003, derrière le même drapeau que la nouvelle fonctionnalité réutilisait. Selon l'ordonnance de la SEC, il a envoyé des ordres enfants pour 212 ordres clients et ne s'est jamais arrêté, produisant 4 millions d'exécutions et 397 millions d'actions en environ 45 minutes, et une perte de 460 millions de dollars.

www.sec.gov · www.sec.gov

Pourquoi la réutilisation d'un ancien drapeau de fonctionnalité pour un nouveau code est-elle dangereuse?

La même valeur de drapeau signifie alors deux choses différentes sur différents serveurs. Dans le cas de Knight, la nouvelle fonctionnalité a réutilisé l'ancien drapeau de Power Peg, de sorte que le même réglage a activé un nouveau comportement sur sept serveurs et le code Power Peg retiré sur le huitième. Le compteur d'arrêt de Power Peg avait également été déplacé en 2005 et jamais retesté, de sorte que le code retiré a bouclé à l'infini.

www.sec.gov

Pourquoi les avertissements ou les contrôles n'ont-ils pas arrêté plus tôt les ordres incontrôlables de Knight Capital?

Quatre-vingt-dix-sept e-mails indiquant que Power Peg était désactivé sont arrivés avant l'ouverture, mais ils n'étaient pas conçus comme des alertes et personne ne les a lus. Rien ne comparait les ordres sortants aux ordres entrants, et il n'y avait pas d'interrupteur d'arrêt. Le moniteur de risque était un écran surveillé par des humains qui n'affichait pas les limites. Les ingénieurs ont désinstallé le nouveau code des sept bons serveurs, ce qui a activé Power Peg partout.

www.sec.gov · www.sec.gov

Qu'est-il arrivé à Knight Capital après le problème de trading de 2012?

Les actions ont chuté de 63% à 2,58 dollars, et Knight a bénéficié d'un sauvetage de 400 millions de dollars à 1,50 dollar par action. Il a accepté une fusion avec GETCO pour Noël 2012. En 2013, la SEC a infligé une amende de 12 millions de dollars à Knight dans sa première affaire de la règle d'accès au marché et a rédigé elle-même le post-mortem, environ quatorze mois après l'incident.

www.sec.gov · www.sec.gov · www.sec.gov

Que devraient changer les équipes d'ingénierie après l'incident de Knight Capital?

Le verdict de The Daily Diff était REVERT. Les changements de l'épisode consistent à donner à chaque nouvelle fonctionnalité un nouveau drapeau, à supprimer le code mort plutôt qu'à le désactiver, et à donner à tout ce qui envoie des ordres un interrupteur d'arrêt. Il a également noté que Knight n'a jamais écrit son propre post-mortem. La SEC l'a fait, et le déploiement manuel n'avait pas de deuxième réviseur ni de procédure écrite.

www.sec.gov · www.sec.gov

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.

0:00 Une société de négoce déploie un nouveau code sur sept de ses huit serveurs, et le huitième achète et vend près de sept milliards de dollars d'actions en quarante-cinq minutes, ce qui est beaucoup, même pour un mercredi. 1er août 2012. Knight Capital, un dixième de toutes les transactions boursières américaines, déclare une perte de 440 millions de dollars. La SEC en comptera plus de 460, infligera une amende de douze millions à Knight, et rédigera elle-même le postmortem : dix pages, zéro adjectif.

0:25 Comment cela se produit, pourquoi c'est possible, et qui est réellement à blâmer. Ceci est The Daily Diff, postmortem. 27 juillet. La Bourse de New York lance un programme de liquidité de détail le 1er août, alors Knight copie le nouveau code sur SMARS, son routeur d'ordres, quelques serveurs par jour, à la main. Un technicien, huit serveurs, sept copies. Personne ne vérifie ; aucune règle n'impose à qui que ce soit de le faire. 8h01. Un système interne commence à envoyer un e-mail au personnel avec une erreur indiquant : Power

0:51 Peg désactivé. Quatre-vingt-dix-sept e-mails avant l'ouverture. Ils ne sont pas conçus comme des alertes, donc personne ne les lit, ce qui est une décision de conception qui a un coût. 9h30, le marché ouvre. Sept serveurs exécutent le nouveau code. Le huitième voit le même drapeau et exécute Power Peg à la place : un code que Knight a retiré en 2003 et n'a jamais supprimé. Il envoie des ordres enfants pour 212 ordres clients, et ne s'arrête jamais.

1:13 Quatre millions d'exécutions. 397 millions d'actions. Un compte de titres gonfle au-delà de sa limite de deux millions de dollars, qui n'est connecté à rien. Les ingénieurs, sur un marché en direct, désinstallent le nouveau code des sept bons serveurs, ce qui active Power Peg partout. Vers 10h15, ça s'arrête : trois milliards et demi à l'achat, trois virgule quinze milliards à la vente.

1:31 Un : la condition d'arrêt de Power Peg, le compteur qui dit que l'ordre parent est rempli, est déplacée en 2005 et jamais retestée, donc le code retiré boucle à l'infini. Deux : la nouvelle fonctionnalité réutilise l'ancien drapeau de Power Peg, donc le même oui signifie deux choses sur deux serveurs. Trois : pas d'interrupteur d'urgence. Rien ne compare les ordres sortants avec les ordres entrants ; rien n'arrête SMARS. Le moniteur de risque est un écran surveillé par des humains ; il n'affiche pas les limites. git blame : un drapeau réutilisé au lieu d'un nouveau, du code mort appelable pendant neuf

2:00 ans, et un déploiement manuel sans deuxième paire d'yeux. Pas le technicien. L'ordonnance de la SEC ne le nomme jamais, et moi non plus. Rayon d'action : 460 millions de dollars, environ dix millions par minute. Actions en baisse de 63 pour cent à deux dollars cinquante-huit, un sauvetage de 400 millions de dollars à un dollar cinquante l'action, une fusion avec Getco avant Noël. Hacker News, jeudi : comment cela a-t-il fonctionné 45 minutes sans intervention humaine ? Ça n'a pas fonctionné. Les humains ont aggravé la situation.

2:25 Verdict, postmortem : revert. Knight n'a jamais rédigé son propre postmortem ; le régulateur l'a fait, quatorze mois plus tard, et le correctif est une amende et une fusion. Lundi : nouvelle fonctionnalité, nouveau drapeau ; le code mort est supprimé, pas désactivé ; tout ce qui envoie des ordres a un interrupteur d'arrêt. Envoyez-moi l'incident dont vous n'êtes toujours pas autorisé à parler, dans les commentaires, ou à the daily diff dot dev. Et c'est la différence pour aujourd'hui.

2:48 Je suis Niko d'Axrisi. Fusionnez de manière responsable.

Sources

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vidéos similaires