Wdrożenie na 7 z 8 serwerów kosztowało 460 milionów dolarów. 45 minut.
1 sierpnia 2012, 9:30 ET: Knight Capital, animator rynku odpowiedzialny za około jedną dziesiątą całego handlu akcjami w USA, właśnie wdrożył nowy kod do routingu zleceń na siedmiu ze swoich ośmiu serwerów SMARS.
1 sierpnia 2012, 9:30 ET: Knight Capital, animator rynku odpowiedzialny za około jedną dziesiątą całego handlu akcjami w USA, właśnie wdrożył nowy kod do routingu zleceń na siedmiu ze swoich ośmiu serwerów SMARS. Ósmy nadal używa „Power Peg”, kodu wycofanego w 2003 roku, za tą samą flagą, którą nowa funkcja ponownie wykorzystuje. Przez 45 minut wysyła zlecenia potomne, które nigdy się nie zatrzymują: 4 miliony egzekucji, 397 milionów akcji, pozycje o wartości około 7 miliardów dolarów, straty 460 milionów dolarów. 97 ostrzegawczych e-maili nadeszło przed otwarciem. Analiza pośmiertna z własnego zarządzenia SEC: ręczne wdrożenie, którego nikt nie sprawdził, flaga o dwóch znaczeniach, licznik zatrzymania przesunięty w 2005 roku i nigdy ponownie nie testowany, wyłącznik awaryjny, który nie istniał, i „poprawka” na żywym rynku, która pogorszyła sytuację. Werdykt w sprawie poprawki: REVERT.
Przeczytaj wydanie pisemne (angielski) ↗
Co obejmuje ten film
- 27–31 lipca 2012: kod RLP skopiowany ręcznie na 7 z 8 serwerów SMARS; brak drugiego recenzenta, brak pisemnej procedury
- 1 sierpnia, 8:01 rano: 97 e-maili „Power Peg disabled” przed otwarciem; nie zaprojektowane jako alerty, nieczytane
- 1 sierpnia, 9:30–10:15: 212 zleceń staje się 4 milionami egzekucji w 154 akcjach; 3,5 mld długich, 3,15 mld krótkich; 460 mln dolarów straconych; odinstalowanie nowego kodu pogarsza sytuację
- 2 sierpnia – 19 grudnia: akcje −63% do 2,58 USD, ratunek 400 mln USD po 1,50 USD za akcję, fuzja z GETCO; październik 2013: 12 mln USD kary od SEC, pierwsza sprawa z Market Access Rule
Pytania i odpowiedzi
Co było przyczyną straty handlowej Knight Capital w sierpniu 2012 roku?
Knight Capital ręcznie wdrożył nowy kod do routingu zleceń na siedmiu z ośmiu swoich serwerów SMARS. Ósmy nadal uruchamiał Power Peg, kod wycofany w 2003 roku, pod tą samą flagą, którą ponownie wykorzystano w nowej funkcji. Zgodnie z zarządzeniem SEC, wysłał zlecenia potomne dla 212 zleceń klientów i nigdy się nie zatrzymał, generując 4 miliony egzekucji i 397 milionów akcji w około 45 minut, oraz stratę 460 milionów dolarów.
Dlaczego ponowne użycie starej flagi funkcji dla nowego kodu jest niebezpieczne?
Ta sama wartość flagi oznacza wtedy dwie różne rzeczy na różnych serwerach. W przypadku Knight nowa funkcja ponownie wykorzystywała starą flagę Power Peg, więc to samo ustawienie włączyło nowe zachowanie na siedmiu serwerach i wycofany kod Power Peg na ósmym. Licznik zatrzymania Power Peg został również przeniesiony w 2005 roku i nigdy nie został ponownie przetestowany, więc wycofany kod zapętlił się na zawsze.
Dlaczego ostrzeżenia lub kontrole nie zatrzymały wcześniej niekontrolowanych zleceń Knight Capital?
Dziewięćdziesiąt siedem e-maili z informacją „Power Peg disabled” (Power Peg wyłączony) dotarło przed otwarciem, ale nie były one zaprojektowane jako alerty i nikt ich nie czytał. Nic nie porównywało zleceń wychodzących z przychodzącymi, i nie było wyłącznika awaryjnego. Monitor ryzyka był ekranem obserwowanym przez ludzi, który nie pokazywał limitów. Inżynierowie odinstalowali nowy kod z siedmiu dobrych serwerów, co włączyło Power Peg wszędzie.
Co stało się z Knight Capital po awarii handlowej w 2012 roku?
Akcje spadły o 63% do 2,58 USD, a Knight otrzymał ratunek w wysokości 400 milionów USD po 1,50 USD za akcję. Zgodził się na fuzję z GETCO do Bożego Narodzenia 2012 roku. W 2013 roku SEC nałożyła na Knight grzywnę w wysokości 12 milionów USD w pierwszej sprawie dotyczącej Market Access Rule i sama napisała postmortem, około czternaście miesięcy po incydencie.
Co zespoły inżynierskie powinny zmienić po incydencie z Knight Capital?
Werdykt The Daily Diff brzmiał REVERT. Zmiany w tym epizodzie to przypisanie każdej nowej funkcji nowej flagi, usuwanie martwego kodu zamiast jego wyłączania oraz dodanie wyłącznika do wszystkiego, co wysyła zlecenia. Zauważono również, że Knight nigdy nie napisał własnego postmortem. Zrobiła to SEC, a ręczne wdrożenie nie miało drugiego recenzenta ani pisemnej procedury.
Przetłumaczona transkrypcja
Przetłumaczono z oryginalnej narracji angielskiej. Dostępne audio i napisy są kontrolowane przez YouTube.
0:00 Firma handlowa wdraża nowy kod na siedmiu z ośmiu serwerów, a ósmy kupuje i sprzedaje akcje o wartości prawie siedmiu miliardów dolarów w ciągu czterdziestu pięciu minut, co jest dużo, nawet jak na środę. 1 sierpnia 2012 roku. Knight Capital, jedna dziesiąta całego handlu akcjami w USA, zgłasza stratę 440 milionów dolarów. SEC później nalicza ponad 460, nakłada na Knight karę dwunastu milionów, i sama pisze analizę pośmiertną: dziesięć stron, zero przymiotników.
0:25 Jak to się dzieje, dlaczego jest to możliwe i kogo właściwie obwiniać. To jest The Daily Diff, analiza pośmiertna. 27 lipca. Nowojorska Giełda Papierów Wartościowych uruchamia program płynności dla detalistów 1 sierpnia, więc Knight kopiuje nowy kod na SMARS, swój router zleceń, kilka serwerów dziennie, ręcznie. Jeden technik, osiem serwerów, siedem kopii. Nikt nie sprawdza; żadna zasada nie mówi, że ktoś musi. 8:01 rano. Wewnętrzny system zaczyna wysyłać pracownikom e-maile z błędem o treści: Power
0:51 Peg disabled. Dziewięćdziesiąt siedem e-maili przed otwarciem. Nie są zaprojektowane jako alerty, więc nikt ich nie czyta, co jest decyzją projektową z wysoką ceną. 9:30, rynek otwiera się. Siedem serwerów uruchamia nowy kod. Ósmy widzi tę samą flagę i zamiast tego uruchamia Power Peg: kod, który Knight wycofał w 2003 roku i nigdy nie usunął. Wysyła zlecenia potomne dla 212 zleceń klientów i nigdy się nie zatrzymuje.
1:13 Cztery miliony egzekucji. 397 milionów akcji. Konto holdingowe rośnie ponad dwumilionowy limit, który nie jest podłączony do niczego. Inżynierowie, na żywym rynku, odinstalowują nowy kod z siedmiu dobrych serwerów, co włącza Power Peg wszędzie. Około 10:15 zatrzymuje się: trzy i pół miliarda długich, trzy przecinek piętnaście miliarda krótkich.
1:31 Pierwsze: warunek zatrzymania Power Peg, licznik mówiący, że zlecenie nadrzędne jest zrealizowane, jest przeniesiony w 2005 roku i nigdy nie testowany ponownie, więc wycofany kod działa w pętli bez końca. Drugie: nowa funkcja ponownie wykorzystuje starą flagę Power Peg, więc to samo tak oznacza dwie rzeczy na dwóch serwerach. Trzecie: brak wyłącznika awaryjnego. Nic nie porównuje zleceń wychodzących ze zleceniami przychodzącymi; nic nie zatrzymuje SMARS. Monitor ryzyka to ekran obserwowany przez ludzi; nie pokazuje limitów. git blame: flaga ponownie wykorzystana zamiast nowej, martwy kod możliwy do wywołania przez dziewięć
2:00 lat, i ręczne wdrożenie bez drugiej pary oczu. Nie technik. Zarządzenie SEC nigdy go nie wymienia, i ja też nie będę. Promień rażenia: 460 milionów dolarów, około dziesięciu milionów na minutę. Akcje w dół o 63 procent do dwóch dolarów pięćdziesięciu ośmiu, ratunek 400 milionów dolarów po dolarze pięćdziesiąt za akcję, fuzja z Getco przed świętami. Hacker News, czwartek: jak to działało 45 minut bez interwencji człowieka? Nie działało. Ludzie to pogorszyli.
2:25 Werdykt, analiza pośmiertna: REVERT. Knight nigdy nie pisze własnej analizy pośmiertnej; regulator to robi, czternaście miesięcy później, a poprawka to kara i fuzja. Poniedziałek: nowa funkcja, nowa flaga; martwy kod zostaje usunięty, nie wyłączony; wszystko, co wysyła zlecenia, otrzymuje wyłącznik. Wyślij mi incydent, o którym nadal nie wolno ci mówić, w komentarzach lub na the daily diff dot dev. I to jest diff na dziś.
2:48 Jestem Niko z Axrisi. Scalaj odpowiedzialnie.
Źródła
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com



