Rakenduse juurutamine 7-le 8-st serverist tõi kaasa 460 miljoni dollari suuruse kahju. 45 minutit.
1.
1. august 2012, kell 9:30 ET: Knight Capital, turukorraldaja, mis vastutab umbes kümnendiku kõigist USA aktsiatehingutest, juurutas just uue tellimuste marsruutimise koodi seitsmele oma kaheksast SMARS serverist. Kaheksas käitas endiselt "Power Peci", 2003. aastal maha võetud koodi, uue funktsiooni taaskasutatava lipu taga. 45 minuti jooksul saatis see alamkorraldusi, mis kunagi ei peatunud: 4 miljonit täitmist, 397 miljonit aktsiat, umbes 7 miljardi dollari väärtuses positsioone, 460 miljoni dollari suurune kahjum. Enne avamist oli saabunud 97 hoiatusmeili. Lahang, SEC-i enda korraldusest: käsitsi juurutamine, mida keegi ei vaadanud üle, kahe tähendusega lipp, 2005. aastal teisaldatud ja kunagi uuesti testimata stopploendur, olematu tapmislüliti ja "parandus" reaalajas turul, mis tegi olukorra hullemaks. Paranduse otsus: REVERT.
Loe kirjalikku väljaannet (inglise keeles) ↗
Mida see video hõlmab
- 27.–31. juuli 2012: RLP kood kopeeriti käsitsi 7-le 8-st SMARS serverist; puudus teine ülevaataja, puudus kirjalik protseduur
- 1. august, 8:01: 97 e-kirja "Power Peg keelatud" enne avamist; ei olnud mõeldud hoiatustena, neid ei loetud
- 1. august, 9:30–10:15: 212 korraldusest saab 4M täitmist 154 aktsias; 3,5 miljardit dollarit pikk, 3,15 miljardit dollarit lühike; 460 miljonit dollarit kaotatud; uue koodi eemaldamine teeb olukorra hullemaks
- 2. august – 19. detsember: aktsiate hind –63% kuni 2,58 dollarini, 400 miljoni dollari suurune pääste 1,50 dollari eest aktsia kohta, ühinemine GETCO-ga; oktoober 2013: 12 miljoni dollari suurune SEC-i trahv, esimene turulepääsu reegli juhtum
Küsimused ja vastused
Mis põhjustas Knight Capitali kauplemiskahjumi 2012. aasta augustis?
Knight Capital paigaldas uue tellimuste marsruutimise koodi käsitsi seitsmele oma kaheksast SMARS serverist. Kaheksas käitas endiselt Power Pegi, 2003. aastal maha võetud koodi, sama lipu taga, mida uus funktsioon uuesti kasutas. SEC-i korralduse kohaselt saatis see 212 klienditellimuse jaoks alamkorraldusi ja ei peatunud kunagi, genereerides umbes 45 minutiga 4 miljonit tehingut ja 397 miljonit aktsiat ning 460 miljoni dollari suuruse kahjumi.
Miks on vana funktsioonilipu taaskasutamine uue koodi jaoks ohtlik?
Sama lipu väärtus tähendab siis erinevatel serveritel kahte erinevat asja. Knighti puhul kasutas uus funktsioon Power Pegi vana lippu, nii et sama seadistus lubas seitsmel serveril uue käitumise ja kaheksandal serveril maha võetud Power Pegi koodi. Power Pegi stopploendurit oli samuti 2005. aastal liigutatud ja seda ei testitud kunagi uuesti, nii et vananenud kood töötas lõputult.
Miks ei peatanud hoiatused või kontrollid Knight Capitali kontrollimatuid tellimusi varem?
Enne avamist saabus 97 e-kirja pealkirjaga „Power Peg keelatud“, kuid need ei olnud mõeldud hoiatustena ja keegi neid ei lugenud. Miski ei võrrelnud sissetulevaid ja väljaminevaid tellimusi ning puudus hädaseiskamislüliti. Riskimonitor oli inimeste jälgitav ekraan, mis ei näidanud piiranguid. Insenerid eemaldasid uue koodi seitsmelt toimivalt serverilt, mis lülitas Power Pegi kõikjal sisse.
Mis juhtus Knight Capitaliga pärast 2012. aasta kauplemishäiret?
Aktsiad langesid 63% 2,58 dollarini ja Knight võttis vastu 400 miljoni dollari suuruse pääste 1,50 dollari eest aktsia kohta. See nõustus GETCO-ga ühinema 2012. aasta jõuludeks. 2013. aastal trahvis SEC Knighti 12 miljoni dollariga oma esimeses Market Access Rule’i juhtumis ja kirjutas ise järelanalüüsi umbes neliteist kuud pärast intsidenti.
Mida peaksid insenerimeeskonnad muutma pärast Knight Capitali intsidenti?
The Daily Diff’i otsus oli REVERT. Episoodi muudatused seisnevad selles, et igale uuele funktsioonile antakse uus lipp, vananenud kood kustutatakse selle keelamise asemel ja kõigele, mis tellimusi saadab, antakse väljalülituslüliti. Märgiti ka, et Knight ei kirjutanud kunagi oma järelanalüüsi. SEC tegi seda ja käsitsi juurutamisel puudus teine ülevaataja ning kirjalik protseduur.
Tõlgitud transkriptsioon
Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.
0:00 Kaubandusettevõte juurutab uue koodi seitsmele kaheksast serverist, ja kaheksas ostab ja müüb ligi seitse miljardit dollarit aktsiaid neljakümne viie minutiga, mis on palju, isegi kolmapäeva kohta. 1. august 2012. Knight Capital, kümnendik kogu USA aktsiakaubandusest, teatab 440 miljoni dollari suurusest kahjumist. SEC loendab hiljem üle 460 miljoni, trahvib Knighti kaksteist miljonit, ja kirjutab lahkamise ise: kümme lehekülge, null omadussõna.
0:25 Kuidas see juhtub, miks see on võimalik ja keda tegelikult süüdistatakse. See on The Daily Diff, lahkamine. 27. juuli. New Yorgi börs käivitab jaemüügi likviidsusprogrammi 1. augustil, nii et Knight kopeerib uue koodi SMARS-i, oma korralduse marsruuterile, mõned serverid päevas, käsitsi. Üks tehnik, kaheksa serverit, seitse koopiat. Keegi ei kontrolli; ükski reegel ei nõua, et keegi peaks. 8:01. Sisemine süsteem hakkab personalile saatma veateadet: Power
0:51 Peg keelatud. Üheksakümmend seitse e-kirja enne avamist. Neid ei ole mõeldud hoiatustena, nii et keegi ei loe neid, mis on disainiotsus, millel on oma hind. 9:30, turg avaneb. Seitse serverit käitavad uut koodi. Kaheksas näeb sama lippu ja käitab Power Pegi asemel: koodi, mille Knight pani kinni aastal 2003 ja kunagi ei kustutanud. See saadab alamkorraldused 212 kliendi korraldusele ja kunagi ei peatu.
1:13 Neli miljonit täitmist. 397 miljonit aktsiat. Hoiumaaklerkonto paisub üle oma kahe miljoni dollari piiri, mis ei ole millegagi ühendatud. Insenerid, reaalajas turul, desinstallivad uue koodi seitsmest heast serverist, mis lülitab Power Peci sisse igal pool. Umbes 10:15 see peatub: kolm ja pool miljardit pikk, kolm koma viisteist miljardit lühike.
1:31 Üks: Power Peci peatamise tingimus, loendur, mis ütleb, et peari tellimus on täidetud, teisaldati 2005. aastal ja kunagi ei testitud uuesti, nii et vananenud kood kordub lõputult. Kaks: uus funktsioon taaskasutab Power Peci vana lippu, nii et sama jah tähendab kahel serveril kahte asja. Kolm: tapmislülitit pole. Miski ei võrdle sissetulevaid korraldusi väljaminevatega; miski ei peata SMARS-i. Riskimonitor on inimeste jälgitav ekraan; see ei näita piiranguid. git blame: uue asemel taaskasutatud lipp, surnud kood, mida saab kutsuda üheksa
2:00 aastat, ja käsitsi juurutamine ilma teise silmapaarita. Mitte tehnik. SEC-i korralduses ei mainita teda kunagi, ja mina ka mitte. Plahvatusraadius: 460 miljonit dollarit, umbes kümme miljonit minutis. Aktsiad langesid 63 protsenti kahe dollari viiekümne kaheksani, 400 miljoni dollari suurune pääste ühe dollari viiekümne sendi eest aktsia kohta, ühinemine Getcoga jõuludeks. Hacker News, neljapäev: kuidas see 45 minutit ilma inimese sekkumiseta töötas? Ei töötanud. Inimesed tegid selle hullemaks.
2:25 Otsus, lahkamine: REVERT. Knight ei kirjuta kunagi oma lahkamist; seda teeb regulaator, neliteist kuud hiljem, ja parandus on trahv ja ühinemine. Esmaspäev: uus funktsioon, uus lipp; surnud kood kustutatakse, mitte ei keelata; kõik, mis korraldusi saadab, saab väljalülituslüliti. Saatke mulle intsident, millest teil ikka veel ei ole lubatud rääkida, kommentaarides või aadressil daily diff dot dev. Ja see on tänane vahe.
2:48 Mina olen Niko Axrisist. Ühendage vastutustundlikult.
Allikad
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com



