Разгръщане до 7 от 8 сървъра доведе до загуба от 460 милиона долара. 45 минути.
1 август 2012 г., 9:30 ч.
1 август 2012 г., 9:30 ч. ET: Knight Capital, маркетмейкърът зад около една десета от цялата търговия с акции в САЩ, току-що е разгърнал нов код за маршрутизация на поръчки към седем от осемте си SMARS сървъра. Осмият все още работи с „Power Peg“, код, изведен от употреба през 2003 г., зад същия флаг, който новата функция използва повторно. В продължение на 45 минути той изпраща дъщерни поръчки, които никога не спират: 4 милиона изпълнения, 397 милиона акции, позиции за около 7 милиарда долара, загуба от 460 милиона долара. 97 предупредителни имейла са пристигнали преди отварянето на пазара. Следсмъртно, от собствената заповед на SEC: ръчното разгръщане, което никой не е прегледал, флагът с две значения, броячът за спиране, преместен през 2005 г. и никога не е претестван, аварийният прекъсвач, който не е съществувал, и „поправката“ на жив пазар, която го е влошила. Присъда за поправката: REVERT.
Прочетете писменото издание (английски) ↗
Какво обхваща този видеоклип
- 27–31 юли 2012 г.: RLP код, копиран ръчно на 7 от 8 SMARS сървъра; без втори преглед, без писмена процедура
- 1 август, 8:01 ч.: 97 имейла „Power Peg деактивиран“ преди отварянето на пазара; не са предназначени като сигнали, не са прочетени
- 1 август, 9:30–10:15 ч.: 212 поръчки стават 4 милиона изпълнения в 154 акции; $3,5 млрд. дълги, $3,15 млрд. къси; $460 млн. загуба; деинсталирането на новия код влошава нещата
- 2 август – 19 декември: акции -63% до $2,58, спасяване за $400 млн. при $1,50/акция, сливане с GETCO; октомври 2013 г.: $12 млн. глоба от SEC, първи случай по правилото за достъп до пазара
Преведен препис
Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.
0:00 Търговска фирма разгръща нов код на седем от осем сървъра, а осмият купува и продава акции за почти седем милиарда долара за четиридесет и пет минути, което е много, дори и за сряда. 1 август 2012 г. Knight Capital, една десета от цялата търговия с акции в САЩ, съобщава за загуба от 440 милиона долара. По-късно SEC отчита над 460, глобява Knight с дванадесет милиона, и сама пише следсмъртния анализ: десет страници, нула прилагателни.
0:25 Как се случва, защо е възможно и кой всъщност е виновен. Това е The Daily Diff, следсмъртен анализ. 27 юли. Нюйоркската фондова борса стартира програма за ликвидност на дребно на 1 август, така че Knight копира нов код на SMARS, своя маршрутизатор на поръчки, по няколко сървъра на ден, на ръка. Един техник, осем сървъра, седем копия. Никой не проверява; никакво правило не казва, че някой трябва. 8:01 ч. Вътрешна система започва да изпраща имейли до персонала с грешка, която гласи: Power
0:51 Peg деактивиран. Деветдесет и седем имейла преди отварянето на пазара. Те не са предназначени като сигнали, така че никой не ги чете, което е дизайнерско решение с цена. 9:30 ч., пазарът отваря. Седем сървъра работят с новия код. Осмият вижда същия флаг и вместо това стартира Power Peg: код, който Knight е извел от употреба през 2003 г. и никога не е изтрит. Изпраща дъщерни поръчки за 212 клиентски поръчки и никога не спира.
1:13 Четири милиона изпълнения. 397 милиона акции. Сметка за задържане набъбва над лимита си от два милиона долара, която не е свързана с нищо. Инженерите, на жив пазар, деинсталират новия код от седемте добри сървъра, което включва Power Peg навсякъде. Около 10:15 ч. спира: три и половина милиарда дълги, три цяло и петнадесет стотни милиарда къси.
1:31 Първо: условието за спиране на Power Peg, броячът, който казва, че родителската поръчка е изпълнена, е преместено през 2005 г. и никога не е претествано, така че изведеният от употреба код цикли завинаги. Второ: новата функция използва повторно стария флаг на Power Peg, така че едно и също „да“ означава две неща на два сървъра. Трето: няма прекъсвач за изключване. Нищо не сравнява входящи поръчки с изходящи; нищо не спира SMARS. Мониторът за риск е екран, наблюдаван от хора; той не показва лимитите. git blame: флаг, използван повторно вместо нов, мъртъв код, достъпен за девет
2:00 години, и ръчно разгръщане без втори чифт очи. Не техникът. Заповедта на SEC никога не го назовава, нито аз ще го направя. Радиус на взрива: 460 милиона долара, приблизително десет милиона на минута. Акциите падат с 63 процента до два долара и петдесет и осем цента, спасяване от 400 милиона долара при един долар и петдесет цента на акция, сливане с Getco до Коледа. Hacker News, четвъртък: как е работил 45 минути без човешка намеса? Не е. Хората го влошиха.
2:25 Присъда, следсмъртен анализ: REVERT. Knight никога не пише свой собствен следсмъртен анализ; регулаторът го прави, четиринадесет месеца по-късно, и поправката е глоба и сливане. Понеделник: нова функция, нов флаг; мъртвият код се изтрива, не се деактивира; всичко, което изпраща поръчки, получава прекъсвач. Изпратете ми инцидента, за който все още не ви е позволено да говорите, в коментарите или на the daily diff dot dev. И това е различното за днес.
2:48 Аз съм Нико от Axrisi. Обединявайте отговорно.
Източници
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com
