Развёртывание на 7 из 8 серверов привело к потере 460 миллионов долларов за 45 минут.
1 августа 2012 года, 9:30 утра по восточному времени: Knight Capital, маркет-мейкер, обеспечивающий примерно десятую часть всей торговли акциями США, только что развернула новый код маршрутизации ордеров на семи из восьми своих серверов SMARS.
1 августа 2012 года, 9:30 утра по восточному времени: Knight Capital, маркет-мейкер, обеспечивающий примерно десятую часть всей торговли акциями США, только что развернула новый код маршрутизации ордеров на семи из восьми своих серверов SMARS. На восьмом по-прежнему работает «Power Peg», код, снятый с эксплуатации в 2003 году, находящийся за тем же флагом, который повторно используется новой функцией. В течение 45 минут он отправляет дочерние ордера, которые никогда не прекращаются: 4 миллиона исполнений, 397 миллионов акций, позиции на сумму около 7 миллиардов долларов, убыток в 460 миллионов долларов. До открытия торгов поступило 97 предупреждающих электронных писем. Посмертный анализ, из собственного приказа SEC: ручное развертывание, которое никто не проверил, флаг с двумя значениями, счётчик остановок, перемещённый в 2005 году и никогда не перепроверявшийся, отсутствие аварийного выключателя и «исправление» на живом рынке, которое только усугубило ситуацию. Вердикт по исправлению: REVERT.
Читать письменное издание (на английском) ↗
Что освещается в этом видео
- 27-31 июля 2012: Код RLP скопирован вручную на 7 из 8 серверов SMARS; нет второго проверяющего, нет письменной процедуры.
- 1 августа, 8:01 утра: 97 электронных писем «Power Peg отключен» до открытия; не предназначены как оповещения, не прочитаны.
- 1 августа, 9:30–10:15: 212 ордеров превращаются в 4M исполнений по 154 акциям; $3.5 млрд длинных, $3.15 млрд коротких; $460M потеряно; удаление нового кода только ухудшает ситуацию.
- 2 августа – 19 декабря: акции −63% до $2.58, спасение на $400M по $1.50/акцию, слияние с GETCO; октябрь 2013: штраф SEC на $12M, первый случай по правилу доступа к рынку.
Вопросы и ответы
Что стало причиной торговых потерь Knight Capital в августе 2012 года?
Knight Capital вручную развернула новый код маршрутизации ордеров на семи из восьми своих серверов SMARS. Восьмой все еще работал под управлением Power Peg, код которого был выведен из эксплуатации в 2003 году, под тем же флагом, который повторно использовала новая функция. Согласно постановлению SEC, он отправил дочерние ордера для 212 клиентских ордеров и никогда не останавливался, произведя 4 миллиона исполнений и 397 миллионов акций примерно за 45 минут, что привело к убытку в размере 460 миллионов долларов.
Почему повторное использование старого флага функции для нового кода опасно?
Одно и то же значение флага тогда означает две разные вещи на разных серверах. В случае Knight новая функция повторно использовала старый флаг Power Peg, поэтому та же настройка включала новое поведение на семи серверах и вышедший из эксплуатации код Power Peg на восьмом. Счетчик остановки Power Peg также был перемещен в 2005 году и никогда не перепроверялся, поэтому вышедший из эксплуатации код зацикливался навсегда.
Почему предупреждения или элементы управления не остановили неконтролируемые ордера Knight Capital раньше?
Девяносто семь электронных писем с текстом «Power Peg отключен» поступили до открытия, но они не были предназначены для оповещений, и никто их не прочитал. Ничто не сравнивало исходящие ордера с входящими, и не было аварийного выключателя. Монитор рисков представлял собой экран, который отслеживали люди и который не показывал лимиты. Инженеры удалили новый код с семи исправных серверов, что включило Power Peg везде.
Что произошло с Knight Capital после сбоя в торговле в 2012 году?
Акции упали на 63% до $2,58, и Knight получила спасение в размере $400 млн по $1,50 за акцию. Она согласилась на слияние с GETCO к Рождеству 2012 года. В 2013 году SEC оштрафовала Knight на $12 млн в своем первом деле по правилу доступа к рынку и сама написала постмортем, примерно через четырнадцать месяцев после инцидента.
Что должны изменить инженерные команды после инцидента с Knight Capital?
Вердикт The Daily Diff был REVERT. Изменения, произошедшие после этого эпизода, заключаются в том, чтобы дать каждой новой функции новый флаг, удалять неиспользуемый код, а не отключать его, и давать всему, что отправляет ордера, выключатель. Также отмечалось, что Knight никогда не писала свой собственный постмортем. SEC сделала это, а ручное развертывание не имело второго рецензента и письменной процедуры.
Переведенная стенограмма
Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.
0:00 Торговая фирма разворачивает новый код на семи из восьми серверов, и восьмой покупает и продаёт акции на почти семь миллиардов долларов в течение сорока пяти минут, что много даже для среды. 1 августа 2012 года. Knight Capital, одна десятая всей торговли акциями США, сообщает об убытках в 440 миллионов долларов. Комиссия по ценным бумагам и биржам (SEC) позже насчитывает более 460, штрафует Knight на двенадцать миллионов, и пишет посмертный анализ сама: десять страниц, ноль прилагательных.
0:25 Как это происходит, почему это возможно, и кто на самом деле несёт ответственность. Это The Daily Diff, посмертный анализ. 27 июля. Нью-Йоркская фондовая биржа запускает программу розничной ликвидности 1 августа, поэтому Knight копирует новый код на SMARS, свой маршрутизатор ордеров, по несколько серверов в день, вручную. Один техник, восемь серверов, семь копий. Никто не проверяет; никакое правило не требует этого. 8:01 утра. Внутренняя система начинает рассылать сотрудникам по электронной почте сообщение об ошибке, которое гласит: Power
0:51 Peg отключен. Девяносто семь электронных писем до открытия. Они не предназначены как оповещения, поэтому никто их не читает, что является дизайнерским решением с ценой. 9:30, рынок открывается. Семь серверов работают с новым кодом. Восьмой видит тот же флаг и вместо этого запускает Power Peg: код, который Knight вывела из эксплуатации в 2003 году и так и не удалила. Он отправляет дочерние ордера для 212 клиентских ордеров и никогда не останавливается.
1:13 Четыре миллиона исполнений. 397 миллионов акций. Счёт холдинга превышает лимит в два миллиона долларов, который ни к чему не привязан. Инженеры, на живом рынке, удаляют новый код с семи рабочих серверов, что включает Power Peg повсюду. Около 10:15 он останавливается: три с половиной миллиарда длинных позиций, три целых пятнадцать сотых миллиарда коротких позиций.
1:31 Первое: условие остановки Power Peg, счётчик, который говорит, что родительский ордер исполнен, перемещено в 2005 году и никогда не перепроверялось, поэтому устаревший код зацикливается навсегда. Второе: новая функция повторно использует старый флаг Power Peg, так что одно и то же «да» означает две вещи на двух серверах. Третье: нет аварийного выключателя. Ничто не сравнивает входящие ордера с исходящими; ничто не останавливает SMARS. Монитор рисков – это экран, за которым наблюдают люди; он не показывает лимиты. git blame: флаг повторно использован вместо нового, мертвый код, вызываемый в течение девяти
2:00 лет, и ручное развертывание без второго проверяющего. Не техник. Приказ SEC никогда не называет его имени, и я тоже не буду. Радиус поражения: 460 миллионов долларов, примерно десять миллионов в минуту. Акции упали на 63 процента до двух долларов пятидесяти восьми центов, спасение на 400 миллионов долларов по доллару пятьдесят центов за акцию, слияние с Getco к Рождеству. Hacker News, четверг: как он работал 45 минут без вмешательства человека? Не работал. Люди только ухудшили ситуацию.
2:25 Вердикт, посмертный анализ: REVERT. Knight никогда не пишет свой собственный посмертный анализ; это делает регулятор, четырнадцать месяцев спустя, и исправление – это штраф и слияние. Понедельник: новая функция, новый флаг; мертвый код удаляется, не отключается; всё, что отправляет ордера, получает выключатель. Пришлите мне инцидент, о котором вам до сих пор не разрешено говорить, в комментариях или на daily diff dot dev. И это на сегодня всё.
2:48 Я Нико из Axrisi. Merge responsibly.
Источники
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com



