Izvietošana 7 no 8 serveriem zaudēja 460 miljonus USD. 45 minūtes.
2012.
2012. gada 1. augusts, plkst. 9:30 pēc ET: Knight Capital, tirgus veidotājs, kas nodrošina aptuveni desmito daļu no visiem ASV akciju tirdzniecības darījumiem, tikko ir izvietojis jaunu pasūtījumu maršrutēšanas kodu uz septiņiem no saviem astoņiem SMARS serveriem. Astotajā joprojām darbojas "Power Peg" kods, kas tika pārtraukts 2003. gadā, aiz tā paša karoga, ko jaunā funkcija atkārtoti izmanto. 45 minūtes tas sūta pēcnosūtījumus, kas nekad neapstājas: 4 miljoni izpildījumu, 397 miljoni akciju, aptuveni 7 miljardi USD pozīciju, 460 miljonu USD zaudējumi. Pirms atvēršanas bija saņemti 97 brīdinājuma e-pasti. Pēc incidenta analīze, no SEC paša rīkojuma: manuāla izvietošana, ko neviens nepārbaudīja, karogs ar divām nozīmēm, apturēšanas skaitītājs, kas tika pārvietots 2005. gadā un nekad netika atkārtoti pārbaudīts, "kill switch", kas neeksistēja, un "labojums" reālā tirgū, kas situāciju pasliktināja. Spriedums par labojumu: REVERT.
Lasiet rakstisko izdevumu (angļu valodā) ↗
Ko aptver šis video
- 2012. gada 27.–31. jūlijs: RLP kods manuāli nokopēts uz 7 no 8 SMARS serveriem; nav otra recenzenta, nav rakstiskas procedūras
- 1. augusts, plkst. 8:01: 97 e-pasti "Power Peg atspējots" pirms atvēršanas; nav paredzēti kā brīdinājumi, nav lasīti
- 1. augusts, 9:30–10:15: 212 pasūtījumi kļūst par 4 miljoniem izpildījumu 154 akcijās; 3,5 miljardi USD garā, 3,15 miljardi USD īsā; zaudēti 460 miljoni USD; jaunā koda atinstalēšana situāciju pasliktina
- 2. augusts – 19. decembris: akcijas −63% līdz 2,58 USD, 400 miljonu USD glābšana par 1,50 USD/akcija, apvienošanās ar GETCO; 2013. gada oktobris: 12 miljonu USD SEC sods, pirmais Tirgus piekļuves noteikumu gadījums
Jautājumi un atbildes
Kas izraisīja Knight Capital tirdzniecības zaudējumus 2012. gada augustā?
Knight Capital ar roku izvietoja jaunu pasūtījumu maršrutēšanas kodu septiņos no astoņiem SMARS serveriem. Astotajā joprojām darbojās Power Peg, kods, kas tika izņemts no apgrozības 2003. gadā, aiz tās pašas karodziņa, ko jaunā funkcija atkārtoti izmantoja. Saskaņā ar SEC rīkojumu, tas nosūtīja papildu pasūtījumus 212 klientu pasūtījumiem un nekad neapstājās, radot 4 miljonus izpildes un 397 miljonus akciju aptuveni 45 minūtēs, un zaudējumus 460 miljonu dolāru apmērā.
Kāpēc veca funkcijas karodziņa atkārtota izmantošana jaunā kodā ir bīstama?
Tā pati karodziņa vērtība tad nozīmē divas dažādas lietas dažādos serveros. Knight gadījumā jaunā funkcija atkārtoti izmantoja Power Peg veco karodziņu, tāpēc tas pats iestatījums aktivizēja jaunu darbību septiņos serveros un izņemto Power Peg kodu astotajā. Power Peg apturēšanas skaitītājs tika pārvietots arī 2005. gadā un nekad netika atkārtoti testēts, tāpēc izņemtais kods darbojās bezgalīgi.
Kāpēc brīdinājumi vai kontroles neapturēja Knight Capital nekontrolējamos pasūtījumus ātrāk?
Deviņdesmit septiņas e-pasta vēstules ar tekstu Power Peg izslēgts tika saņemtas pirms atvēršanas, taču tās nebija paredzētas kā brīdinājumi un neviens tās nelasīja. Nebija nekā, kas salīdzinātu ienākošos un izejošos pasūtījumus, un nebija avārijas slēdža. Riska monitors bija ekrāns, ko vēroja cilvēki un kas nerādīja limitus. Inženieri atinstalēja jauno kodu no septiņiem labajiem serveriem, kas visur ieslēdza Power Peg.
Kas notika ar Knight Capital pēc 2012. gada tirdzniecības kļūmes?
Akcijas kritās par 63% līdz 2,58 USD, un Knight saņēma 400 miljonu dolāru glābšanu par 1,50 USD par akciju. Tā piekrita apvienošanai ar GETCO līdz 2012. gada Ziemassvētkiem. 2013. gadā SEC sodīja Knight ar 12 miljoniem dolāru pirmajā Tirgus piekļuves noteikumu lietā un pati uzrakstīja pēcnāves analīzi, apmēram četrpadsmit mēnešus pēc incidenta.
Kas inženieru komandām būtu jāmaina pēc Knight Capital incidenta?
The Daily Diff verdikts bija REVERT. Epizodes izmaiņas ir dot katrai jaunai funkcijai jaunu karodziņu, dzēst mirušo kodu, nevis to atspējot, un dot jebkam, kas sūta pasūtījumus, izslēgšanas slēdzi. Tika arī atzīmēts, ka Knight nekad nav uzrakstījis savu pēcnāves analīzi. SEC to izdarīja, un manuālajai izvietošanai nebija otrā recenzenta un rakstiskas procedūras.
Tulkotais transkripts
Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.
0:00 Tirdzniecības uzņēmums izvieto jaunu kodu uz septiņiem no astoņiem serveriem, un astotais pērk un pārdod gandrīz septiņus miljardus dolāru akciju četrdesmit piecās minūtēs, kas ir daudz, pat trešdienai. 2012. gada 1. augusts. Knight Capital, desmitā daļa no visām ASV akciju tirdzniecības, ziņo par 440 miljonu dolāru zaudējumiem. SEC vēlāk saskaita vairāk nekā 460, sodu Knightam piespriež divpadsmit miljonus, un pats uzraksta pēcnosūtījumu: desmit lapas, nulle īpašības vārdu.
0:25 Kā tas notiek, kāpēc tas ir iespējams un kas patiesībā ir vainīgs. Šis ir The Daily Diff, pēcnosūtījums. 27. jūlijs. Ņujorkas fondu birža uzsāk mazumtirdzniecības likviditātes programmu 1. augustā, tāpēc Knight kopē jaunu kodu uz SMARS, savu pasūtījumu maršrutētāju, dažus serverus dienā, manuāli. Viens tehniķis, astoņi serveri, septiņas kopijas. Neviens nepārbauda; neviens noteikums neliek nevienam to darīt. 8:01. Iekšējā sistēma sāk sūtīt e-pastu personālam ar kļūdu, kurā rakstīts: Power
0:51 Peg atspējots. Deviņdesmit septiņi e-pasti pirms atvēršanas. Tie nav paredzēti kā brīdinājumi, tāpēc neviens tos nelasa, kas ir dizaina lēmums ar cenu zīmi. 9:30, tirgus atveras. Septiņi serveri darbina jauno kodu. Astotais redz to pašu karogu un tā vietā darbina Power Peg: kodu, ko Knight pārtrauca 2003. gadā un nekad neizdzēsa. Tas sūta pēcnosūtījumus 212 klientu pasūtījumiem un nekad neapstājas.
1:13 Četri miljoni izpildījumu. 397 miljoni akciju. Konts, kurā tiek turētas akcijas, pārsniedz divu miljonu dolāru limitu, kas nav saistīts ar neko. Inženieri, reālā tirgū, atinstalē jauno kodu no septiņiem labajiem serveriem, kas ieslēdz Power Peg visur. Ap 10:15 tas apstājas: trīs ar pusi miljardi gara pozīcija, trīs komats piecpadsmit miljardi īsā pozīcija.
1:31 Viens: Power Peg apturēšanas nosacījums, skaitītājs, kas saka, ka mātes pasūtījums ir aizpildīts, tiek pārvietots 2005. gadā un nekad netiek atkārtoti pārbaudīts, tāpēc pārtrauktais kods darbojas bezgalīgā ciklā. Divi: jaunā funkcija atkārtoti izmanto Power Peg veco karogu, tāpēc tas pats "jā" nozīmē divas lietas uz diviem serveriem. Trīs: nav avārijas izslēdzēja (kill switch). Nekas nesalīdzina ienākošos un izejošos pasūtījumus; nekas neaptur SMARS. Riska monitors ir ekrāns, ko vēro cilvēki; tas nerāda limitus. git blame: atkārtoti izmantots karogs jauna vietā, miris kods izsaucams deviņus
2:00 gadus, un manuāla izvietošana bez otrā acu pāra. Ne tehniķis. SEC rīkojums nekad viņu nenosauc, un es arī to nedarīšu. Sprādziena rādiuss: 460 miljoni dolāru, aptuveni desmit miljoni minūtē. Akcijas kritās par 63 procentiem līdz diviem dolāriem piecdesmit astoņiem, 400 miljonu dolāru glābšana par dolāru piecdesmit par akciju, apvienošanās ar Getco līdz Ziemassvētkiem. Hacker News, ceturtdiena: kā tas darbojās 45 minūtes bez cilvēka iejaukšanās? Tas nedarbojās. Cilvēki situāciju pasliktināja.
2:25 Spriedums, pēcnosūtījums: REVERT. Knight nekad pats neraksta savu pēcnosūtījumu; regulators to dara, četrpadsmit mēnešus vēlāk, un labojums ir naudas sods un apvienošanās. Pirmdiena: jauna funkcija, jauns karogs; mirušais kods tiek dzēsts, nevis atspējots; jebkas, kas sūta pasūtījumus, saņem izslēgšanas slēdzi. Nosūtiet man incidentu, par kuru jums joprojām nav atļauts runāt, komentāros vai vietnē the daily diff dot dev. Un tas ir šodienas atšķirība.
2:48 Esmu Niko no Axrisi. Apvienojiet atbildīgi.
Avoti
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com



