Asennus 7/8 palvelimelle aiheutti 460 miljoonan dollarin tappiot. 45 minuuttia.

Mitä tämä video käsittelee

• 27.–31. heinäkuuta 2012: RLP-koodi kopioitu käsin 7/8 SMARS-palvelimelle; ei toista tarkastajaa, ei kirjallista menettelyä
• 1. elokuuta klo 8.01: 97 "Power Peg disabled" -sähköpostia ennen markkinoiden avautumista; ei suunniteltu hälytyksiksi, ei luettu
• 1. elokuuta klo 9.30–10.15: 212 tilauksesta tulee 4M toteutusta 154 osakkeessa; 3,5 miljardia dollaria pitkänä, 3,15 miljardia dollaria lyhyenä; 460 miljoonaa dollaria menetetty; uuden koodin poistaminen pahentaa tilannetta
• 2. elokuuta – 19. joulukuuta: osakkeet −63 % 2,58 dollariin, 400 miljoonan dollarin pelastus 1,50 dollarilla osakkeelta, fuusio GETCOn kanssa; lokakuu 2013: 12 miljoonan dollarin SEC-sakko, ensimmäinen Market Access Rule -tapaus

Käännetty transkriptio

Käännetty alkuperäisestä englanninkielisestä selostuksesta. Käytettävissä olevan äänen ja tekstitysten hallinta tapahtuu YouTuben kautta.

0:00 Kauppayhtiö ottaa käyttöön uuden koodin seitsemälle kahdeksasta palvelimesta, ja kahdeksas ostaa ja myy lähes seitsemän miljardin dollarin edestä osakkeita neljässäkymmenessäviidessä minuutissa, mikä on paljon, jopa keskiviikolle. 1. elokuuta 2012. Knight Capital, kymmenesosa kaikesta Yhdysvaltain osakekaupasta, ilmoittaa 440 miljoonan dollarin tappiosta. SEC laskee myöhemmin yli 460 miljoonaa, sakottaa Knightia kahdellatoista miljoonalla, ja kirjoittaa jälkianalyysin itse: kymmenen sivua, nolla adjektiivia.

0:25 Miten se tapahtuu, miksi se on mahdollista, ja kuka saa syyt niskoilleen. Tämä on The Daily Diff, jälkianalyysi. Heinäkuun 27. päivä. New Yorkin pörssi aloittaa jälleenmyyjien likviditeettiohjelman 1. elokuuta, joten Knight kopioi uuden koodin SMARS-tilausreitittimeensä, muutaman palvelimen päivässä, käsin. Yksi teknikko, kahdeksan palvelinta, seitsemän kopiota. Kukaan ei tarkista; mikään sääntö ei sano, että kenenkään tarvitsisi. Klo 8.01. Sisäinen järjestelmä alkaa lähettää henkilökunnalle virhesähköpostia, joka lukee: Power

0:51 Peg poistettu käytöstä. Yhdeksänkymmentäseitsemän sähköpostia ennen markkinoiden avautumista. Niitä ei ole suunniteltu hälytyksiksi, joten kukaan ei lue niitä, mikä on suunnittelupäätös, jolla on hintalappu. Klo 9.30, markkinat avautuvat. Seitsemän palvelinta käyttää uutta koodia. Kahdeksas näkee saman lipun ja käyttää sen sijaan Power Pegin: koodin, jonka Knight poisti käytöstä vuonna 2003 eikä koskaan poistanut. Se lähettää lapsitilauksia 212 asiakastilaukselle, eikä koskaan pysähdy.

1:13 Neljä miljoonaa toteutusta. 397 miljoonaa osaketta. Säilytystili turpoaa yli kahden miljoonan dollarin rajansa, joka ei ole kytketty mihinkään. Insinöörit, reaaliaikaisilla markkinoilla, poistavat uuden koodin seitsemältä hyvältä palvelimelta, mikä kytkee Power Pegin päälle kaikkialla. Noin klo 10.15 se pysähtyy: kolme ja puoli miljardia pitkänä, kolme pilkku viisitoista miljardia lyhyenä.

1:31 Yksi: Power Pegin pysäytysolosuhde, laskuri, joka kertoo, että päätilaus on täytetty, siirretään vuonna 2005 eikä sitä koskaan testattu uudelleen, joten käytöstä poistettu koodi jatkuu ikuisesti. Kaksi: uusi ominaisuus käyttää uudelleen Power Pegin vanhaa lippua, joten sama kyllä tarkoittaa kahta asiaa kahdella palvelimella. Kolme: ei tappokytkintä. Mikään ei vertaa ulos meneviä tilauksia sisään tuleviin tilauksiin; mikään ei pysäytä SMARSia. Riskimonitori on ihmisten valvoma näyttö; se ei näytä rajoja. git blame: lippu käytetty uudelleen uuden sijasta, yhdeksän vuotta kutsuttavissa ollut kuollut koodi,

2:00 ja manuaalinen käyttöönotto ilman toista silmäparia. Ei teknikkoa. SEC:n määräys ei koskaan nimeä häntä, enkä minäkään. Vahinkoalue: 460 miljoonaa dollaria, noin kymmenen miljoonaa minuutissa. Osakkeet laskivat 63 prosenttia kahteen dollariin ja viisikymmentäkahdeksaan senttiin, 400 miljoonan dollarin pelastus puolellatoista dollarilla osakkeelta, fuusio Getcon kanssa jouluun mennessä. Hacker News, torstai: miten se pyöri 45 minuuttia ilman ihmisen väliintuloa? Ei se pyörinyt. Ihmiset pahensivat tilannetta.

2:25 Tuomio, jälkianalyysi: REVERT. Knight ei koskaan kirjoita omaa jälkianalyysiään; sääntelyviranomainen tekee sen, neljätoista kuukautta myöhemmin, ja korjaus on sakko ja fuusio. Maanantai: uusi ominaisuus, uusi lippu; kuollut koodi poistetaan, ei poisteta käytöstä; kaikki, mikä lähettää tilauksia, saa virtakytkimen. Lähetä minulle tapaus, josta et edelleenkään saa puhua, kommentteihin tai osoitteeseen the daily diff dot dev. Ja se on päivän ero.

2:48 Olen Niko Axrisista. SHIP IT vastuullisesti.

Lähteet

1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com