Asennus 7/8 palvelimelle aiheutti 460 miljoonan dollarin tappiot. 45 minuuttia.
1.
1. elokuuta 2012 klo 9.30 ET: Knight Capital, markkinatakaaja noin kymmenennen osan kaikesta Yhdysvaltain osakekaupasta, on juuri ottanut käyttöön uuden tilausten reitityskoodin seitsemälle kahdeksasta SMARS-palvelimestaan. Kahdeksas palvelin käyttää edelleen "Power Peg" -koodia, joka poistettiin käytöstä vuonna 2003, juuri saman lipun takana, jonka uusi ominaisuus käyttää uudelleen. 45 minuutin ajan se lähettää lapsitilauksia, jotka eivät koskaan lopu: 4 miljoonaa toteutusta, 397 miljoonaa osaketta, noin 7 miljardin dollarin positioita, 460 miljoonan dollarin tappio. 97 varoitusviestiä oli saapunut ennen markkinoiden avautumista. Jälkianalyysi SEC:n omasta määräyksestä: manuaalinen käyttöönotto, jota kukaan ei tarkistanut, lippu kahdella merkityksellä, pysäytyslaskuri, joka siirrettiin vuonna 2005 eikä koskaan testattu uudelleen, tappokytkin, jota ei ollut olemassa, ja "korjaus" elävillä markkinoilla, joka pahensi tilannetta. Korjauksen tuomio: REVERT.
Lue kirjoitettu versio (englanniksi) ↗
Mitä tämä video käsittelee
- 27.–31. heinäkuuta 2012: RLP-koodi kopioitu käsin 7/8 SMARS-palvelimelle; ei toista tarkastajaa, ei kirjallista menettelyä
- 1. elokuuta klo 8.01: 97 "Power Peg disabled" -sähköpostia ennen markkinoiden avautumista; ei suunniteltu hälytyksiksi, ei luettu
- 1. elokuuta klo 9.30–10.15: 212 tilauksesta tulee 4M toteutusta 154 osakkeessa; 3,5 miljardia dollaria pitkänä, 3,15 miljardia dollaria lyhyenä; 460 miljoonaa dollaria menetetty; uuden koodin poistaminen pahentaa tilannetta
- 2. elokuuta – 19. joulukuuta: osakkeet −63 % 2,58 dollariin, 400 miljoonan dollarin pelastus 1,50 dollarilla osakkeelta, fuusio GETCOn kanssa; lokakuu 2013: 12 miljoonan dollarin SEC-sakko, ensimmäinen Market Access Rule -tapaus
Kysymyksiä ja vastauksia
Mikä aiheutti Knight Capitalin kaupankäyntitappion elokuussa 2012?
Knight Capital otti käyttöön uuden tilausten reitityskoodin käsin seitsemälle kahdeksasta SMARS-palvelimestaan. Kahdeksas käytti edelleen Power Pegin, vuonna 2003 poistetun koodin, samaa lippua, jota uusi ominaisuus käytti uudelleen. SEC:n määräyksen mukaan se lähetti alitilauksia 212 asiakastilaukselle eikä koskaan pysähtynyt, tuottaen 4 miljoonaa toteutusta ja 397 miljoonaa osaketta noin 45 minuutissa, ja 460 miljoonan dollarin tappion.
Miksi vanhan ominaisuuslipun uudelleenkäyttö uudelle koodille on vaarallista?
Sama lipun arvo tarkoittaa silloin kahta eri asiaa eri palvelimilla. Knightin tapauksessa uusi ominaisuus käytti uudelleen Power Pegin vanhaa lippua, joten sama asetus mahdollisti uuden toiminnan seitsemällä palvelimella ja poistetun Power Pegin koodin kahdeksannella. Power Pegin pysäytyslaskuri oli myös siirretty vuonna 2005 eikä sitä ollut koskaan testattu uudelleen, joten poistettu koodi kiersi ikuisesti.
Miksi varoitukset tai hallintalaitteet eivät pysäyttäneet Knight Capitalin hallitsemattomia tilauksia aikaisemmin?
Yhdeksänkymmentäseitsemän sähköpostia, joissa luki 'Power Peg disabled', saapui ennen pörssin avautumista, mutta niitä ei ollut suunniteltu hälytyksiksi eikä kukaan lukenut niitä. Mikään ei verrannut saapuvia ja lähteviä tilauksia, eikä ollut olemassa katkaisijaa. Riskimonitori oli ihmisten valvoima näyttö, joka ei näyttänyt rajoja. Insinöörit poistivat uuden koodin seitsemältä toimivalta palvelimelta, mikä kytki Power Pegin päälle kaikkialla.
Mitä Knight Capitalille tapahtui vuoden 2012 kaupankäyntivirheen jälkeen?
Osakkeet laskivat 63 % 2,58 dollariin, ja Knight sai 400 miljoonan dollarin pelastuspaketin hintaan 1,50 dollaria osakkeelta. Se sopi fuusiosta GETCOn kanssa jouluun 2012 mennessä. Vuonna 2013 SEC sakotti Knightia 12 miljoonalla dollarilla ensimmäisessä Market Access Rule -tapauksessaan ja kirjoitti jälkianalyysin itse, noin neljätoista kuukautta tapauksen jälkeen.
Mitä insinööritiimien tulisi muuttaa Knight Capitalin tapauksen jälkeen?
The Daily Dillin tuomio oli REVERT. Jakson muutokset ovat antaa jokaiselle uudelle ominaisuudelle uusi lippu, poistaa kuollut koodi sen sijaan, että se poistettaisiin käytöstä, ja antaa kaikelle, mikä lähettää tilauksia, katkaisijan. Siinä todettiin myös, että Knight ei koskaan kirjoittanut omaa jälkianalyysiään. SEC teki sen, eikä manuaalisella käyttöönotolla ollut toista tarkistajaa eikä kirjallista menettelyä.
Käännetty transkriptio
Käännetty alkuperäisestä englanninkielisestä selostuksesta. Käytettävissä olevan äänen ja tekstitysten hallinta tapahtuu YouTuben kautta.
0:00 Kauppayhtiö ottaa käyttöön uuden koodin seitsemälle kahdeksasta palvelimesta, ja kahdeksas ostaa ja myy lähes seitsemän miljardin dollarin edestä osakkeita neljässäkymmenessäviidessä minuutissa, mikä on paljon, jopa keskiviikolle. 1. elokuuta 2012. Knight Capital, kymmenesosa kaikesta Yhdysvaltain osakekaupasta, ilmoittaa 440 miljoonan dollarin tappiosta. SEC laskee myöhemmin yli 460 miljoonaa, sakottaa Knightia kahdellatoista miljoonalla, ja kirjoittaa jälkianalyysin itse: kymmenen sivua, nolla adjektiivia.
0:25 Miten se tapahtuu, miksi se on mahdollista, ja kuka saa syyt niskoilleen. Tämä on The Daily Diff, jälkianalyysi. Heinäkuun 27. päivä. New Yorkin pörssi aloittaa jälleenmyyjien likviditeettiohjelman 1. elokuuta, joten Knight kopioi uuden koodin SMARS-tilausreitittimeensä, muutaman palvelimen päivässä, käsin. Yksi teknikko, kahdeksan palvelinta, seitsemän kopiota. Kukaan ei tarkista; mikään sääntö ei sano, että kenenkään tarvitsisi. Klo 8.01. Sisäinen järjestelmä alkaa lähettää henkilökunnalle virhesähköpostia, joka lukee: Power
0:51 Peg poistettu käytöstä. Yhdeksänkymmentäseitsemän sähköpostia ennen markkinoiden avautumista. Niitä ei ole suunniteltu hälytyksiksi, joten kukaan ei lue niitä, mikä on suunnittelupäätös, jolla on hintalappu. Klo 9.30, markkinat avautuvat. Seitsemän palvelinta käyttää uutta koodia. Kahdeksas näkee saman lipun ja käyttää sen sijaan Power Pegin: koodin, jonka Knight poisti käytöstä vuonna 2003 eikä koskaan poistanut. Se lähettää lapsitilauksia 212 asiakastilaukselle, eikä koskaan pysähdy.
1:13 Neljä miljoonaa toteutusta. 397 miljoonaa osaketta. Säilytystili turpoaa yli kahden miljoonan dollarin rajansa, joka ei ole kytketty mihinkään. Insinöörit, reaaliaikaisilla markkinoilla, poistavat uuden koodin seitsemältä hyvältä palvelimelta, mikä kytkee Power Pegin päälle kaikkialla. Noin klo 10.15 se pysähtyy: kolme ja puoli miljardia pitkänä, kolme pilkku viisitoista miljardia lyhyenä.
1:31 Yksi: Power Pegin pysäytysolosuhde, laskuri, joka kertoo, että päätilaus on täytetty, siirretään vuonna 2005 eikä sitä koskaan testattu uudelleen, joten käytöstä poistettu koodi jatkuu ikuisesti. Kaksi: uusi ominaisuus käyttää uudelleen Power Pegin vanhaa lippua, joten sama kyllä tarkoittaa kahta asiaa kahdella palvelimella. Kolme: ei tappokytkintä. Mikään ei vertaa ulos meneviä tilauksia sisään tuleviin tilauksiin; mikään ei pysäytä SMARSia. Riskimonitori on ihmisten valvoma näyttö; se ei näytä rajoja. git blame: lippu käytetty uudelleen uuden sijasta, yhdeksän vuotta kutsuttavissa ollut kuollut koodi,
2:00 ja manuaalinen käyttöönotto ilman toista silmäparia. Ei teknikkoa. SEC:n määräys ei koskaan nimeä häntä, enkä minäkään. Vahinkoalue: 460 miljoonaa dollaria, noin kymmenen miljoonaa minuutissa. Osakkeet laskivat 63 prosenttia kahteen dollariin ja viisikymmentäkahdeksaan senttiin, 400 miljoonan dollarin pelastus puolellatoista dollarilla osakkeelta, fuusio Getcon kanssa jouluun mennessä. Hacker News, torstai: miten se pyöri 45 minuuttia ilman ihmisen väliintuloa? Ei se pyörinyt. Ihmiset pahensivat tilannetta.
2:25 Tuomio, jälkianalyysi: REVERT. Knight ei koskaan kirjoita omaa jälkianalyysiään; sääntelyviranomainen tekee sen, neljätoista kuukautta myöhemmin, ja korjaus on sakko ja fuusio. Maanantai: uusi ominaisuus, uusi lippu; kuollut koodi poistetaan, ei poisteta käytöstä; kaikki, mikä lähettää tilauksia, saa virtakytkimen. Lähetä minulle tapaus, josta et edelleenkään saa puhua, kommentteihin tai osoitteeseen the daily diff dot dev. Ja se on päivän ero.
2:48 Olen Niko Axrisista. SHIP IT vastuullisesti.
Lähteet
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com



