Разгръщане до 7 от 8 сървъра доведе до загуба от 460 милиона долара. 45 минути.
1 август 2012 г., 9:30 ч.
1 август 2012 г., 9:30 ч. ET: Knight Capital, маркетмейкърът зад около една десета от цялата търговия с акции в САЩ, току-що е разгърнал нов код за маршрутизация на поръчки към седем от осемте си SMARS сървъра. Осмият все още работи с „Power Peg“, код, изведен от употреба през 2003 г., зад същия флаг, който новата функция използва повторно. В продължение на 45 минути той изпраща дъщерни поръчки, които никога не спират: 4 милиона изпълнения, 397 милиона акции, позиции за около 7 милиарда долара, загуба от 460 милиона долара. 97 предупредителни имейла са пристигнали преди отварянето на пазара. Следсмъртно, от собствената заповед на SEC: ръчното разгръщане, което никой не е прегледал, флагът с две значения, броячът за спиране, преместен през 2005 г. и никога не е претестван, аварийният прекъсвач, който не е съществувал, и „поправката“ на жив пазар, която го е влошила. Присъда за поправката: REVERT.
Прочетете писменото издание (английски) ↗
Какво обхваща този видеоклип
- 27–31 юли 2012 г.: RLP код, копиран ръчно на 7 от 8 SMARS сървъра; без втори преглед, без писмена процедура
- 1 август, 8:01 ч.: 97 имейла „Power Peg деактивиран“ преди отварянето на пазара; не са предназначени като сигнали, не са прочетени
- 1 август, 9:30–10:15 ч.: 212 поръчки стават 4 милиона изпълнения в 154 акции; $3,5 млрд. дълги, $3,15 млрд. къси; $460 млн. загуба; деинсталирането на новия код влошава нещата
- 2 август – 19 декември: акции -63% до $2,58, спасяване за $400 млн. при $1,50/акция, сливане с GETCO; октомври 2013 г.: $12 млн. глоба от SEC, първи случай по правилото за достъп до пазара
Въпроси и отговори
Какво причини търговската загуба на Knight Capital през август 2012 г.?
Knight Capital внедри нов код за маршрутизиране на поръчки ръчно на седем от осемте си SMARS сървъра. Осмият все още работеше с Power Peg, код, изведен от експлоатация през 2003 г., зад същия флаг, който новата функция използваше повторно. Според заповедта на SEC, той изпрати дъщерни поръчки за 212 клиентски поръчки и никога не спря, произвеждайки 4 милиона изпълнения и 397 милиона акции за около 45 минути и загуба от 460 милиона долара.
Защо повторното използване на стар флаг на функция за нов код е опасно?
Същата стойност на флага тогава означава две различни неща на различни сървъри. В случая на Knight новата функция повторно използва стария флаг на Power Peg, така че същата настройка позволи ново поведение на седем сървъра и изведения от експлоатация код на Power Peg на осмия. Броячът за спиране на Power Peg също беше преместен през 2005 г. и никога не беше тестван отново, така че изведеният от експлоатация код се повтаряше безкрайно.
Защо предупрежденията или контролите не спряха неконтролируемите поръчки на Knight Capital по-рано?
Деветдесет и седем имейла с текст „Power Peg деактивиран“ пристигнаха преди отварянето, но те не бяха предназначени като сигнали и никой не ги прочете. Нищо не сравняваше входящи поръчки с изходящи, и нямаше авариен превключвател. Рисковият монитор беше екран, наблюдаван от хора, който не показваше лимитите. Инженерите деинсталираха новия код от седемте работещи сървъра, което включи Power Peg навсякъде.
Какво се случи с Knight Capital след търговския проблем през 2012 г.?
Акциите паднаха с 63% до $2,58, а Knight получи спасителна помощ от $400 милиона на $1,50 на акция. Той се съгласи на сливане с GETCO до Коледа 2012 г. През 2013 г. SEC глоби Knight с $12 милиона в първия си случай по правилото за достъп до пазара и написа сама постмортъма, около четиринадесет месеца след инцидента.
Какво трябва да променят инженерните екипи след инцидента с Knight Capital?
Присъдата на The Daily Diff беше REVERT. Промените в този епизод са да се даде нов флаг на всяка нова функция, да се изтрие мъртъв код, вместо да се деактивира, и да се даде превключвател за изключване на всичко, което изпраща поръчки. Отбелязва се също, че Knight никога не е писал свой собствен постмортъм. SEC го направи, а ръчното внедряване нямаше втори рецензент и нямаше писмена процедура.
Преведен препис
Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.
0:00 Търговска фирма разгръща нов код на седем от осем сървъра, а осмият купува и продава акции за почти седем милиарда долара за четиридесет и пет минути, което е много, дори и за сряда. 1 август 2012 г. Knight Capital, една десета от цялата търговия с акции в САЩ, съобщава за загуба от 440 милиона долара. По-късно SEC отчита над 460, глобява Knight с дванадесет милиона, и сама пише следсмъртния анализ: десет страници, нула прилагателни.
0:25 Как се случва, защо е възможно и кой всъщност е виновен. Това е The Daily Diff, следсмъртен анализ. 27 юли. Нюйоркската фондова борса стартира програма за ликвидност на дребно на 1 август, така че Knight копира нов код на SMARS, своя маршрутизатор на поръчки, по няколко сървъра на ден, на ръка. Един техник, осем сървъра, седем копия. Никой не проверява; никакво правило не казва, че някой трябва. 8:01 ч. Вътрешна система започва да изпраща имейли до персонала с грешка, която гласи: Power
0:51 Peg деактивиран. Деветдесет и седем имейла преди отварянето на пазара. Те не са предназначени като сигнали, така че никой не ги чете, което е дизайнерско решение с цена. 9:30 ч., пазарът отваря. Седем сървъра работят с новия код. Осмият вижда същия флаг и вместо това стартира Power Peg: код, който Knight е извел от употреба през 2003 г. и никога не е изтрит. Изпраща дъщерни поръчки за 212 клиентски поръчки и никога не спира.
1:13 Четири милиона изпълнения. 397 милиона акции. Сметка за задържане набъбва над лимита си от два милиона долара, която не е свързана с нищо. Инженерите, на жив пазар, деинсталират новия код от седемте добри сървъра, което включва Power Peg навсякъде. Около 10:15 ч. спира: три и половина милиарда дълги, три цяло и петнадесет стотни милиарда къси.
1:31 Първо: условието за спиране на Power Peg, броячът, който казва, че родителската поръчка е изпълнена, е преместено през 2005 г. и никога не е претествано, така че изведеният от употреба код цикли завинаги. Второ: новата функция използва повторно стария флаг на Power Peg, така че едно и също „да“ означава две неща на два сървъра. Трето: няма прекъсвач за изключване. Нищо не сравнява входящи поръчки с изходящи; нищо не спира SMARS. Мониторът за риск е екран, наблюдаван от хора; той не показва лимитите. git blame: флаг, използван повторно вместо нов, мъртъв код, достъпен за девет
2:00 години, и ръчно разгръщане без втори чифт очи. Не техникът. Заповедта на SEC никога не го назовава, нито аз ще го направя. Радиус на взрива: 460 милиона долара, приблизително десет милиона на минута. Акциите падат с 63 процента до два долара и петдесет и осем цента, спасяване от 400 милиона долара при един долар и петдесет цента на акция, сливане с Getco до Коледа. Hacker News, четвъртък: как е работил 45 минути без човешка намеса? Не е. Хората го влошиха.
2:25 Присъда, следсмъртен анализ: REVERT. Knight никога не пише свой собствен следсмъртен анализ; регулаторът го прави, четиринадесет месеца по-късно, и поправката е глоба и сливане. Понеделник: нова функция, нов флаг; мъртвият код се изтрива, не се деактивира; всичко, което изпраща поръчки, получава прекъсвач. Изпратете ми инцидента, за който все още не ви е позволено да говорите, в коментарите или на the daily diff dot dev. И това е различното за днес.
2:48 Аз съм Нико от Axrisi. Обединявайте отговорно.
Източници
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com



