Un despliegue en 7 de 8 servidores perdió 460 millones de dólares. 45 minutos.
1 de agosto de 2012, 9:30 a.m.
1 de agosto de 2012, 9:30 a.m. ET: Knight Capital, el creador de mercado detrás de aproximadamente una décima parte de todas las operaciones bursátiles de EE. UU., acaba de implementar un nuevo código de enrutamiento de órdenes en siete de sus ocho servidores SMARS. El octavo aún ejecuta "Power Peg", código retirado en 2003, detrás de la misma bandera que la nueva característica reutiliza. Durante 45 minutos envía órdenes secundarias que nunca se detienen: 4 millones de ejecuciones, 397 millones de acciones, alrededor de 7 mil millones de dólares en posiciones, una pérdida de 460 millones de dólares. Habían llegado 97 correos electrónicos de advertencia antes de la apertura. Postmortem, de la propia orden de la SEC: el despliegue manual que nadie revisó, la bandera con dos significados, el contador de parada movido en 2005 y nunca vuelto a probar, el interruptor de apagado que no existía, y la "solución" en un mercado en vivo que lo empeoró. Veredicto sobre la solución: REVERT.
Leer la edición escrita (inglés) ↗
Qué cubre este vídeo
- 27-31 de julio de 2012: el código RLP copiado a mano a 7 de 8 servidores SMARS; sin segundo revisor, sin procedimiento escrito
- 1 de agosto, 8:01 a.m.: 97 correos electrónicos de "Power Peg deshabilitado" antes de la apertura; no diseñados como alertas, no leídos
- 1 de agosto, 9:30-10:15: 212 órdenes se convierten en 4M de ejecuciones en 154 acciones; $3.5B en largo, $3.15B en corto; $460M perdidos; desinstalar el nuevo código lo empeora
- 2 de agosto – 19 de diciembre: acciones -63% a $2.58, rescate de $400M a $1.50/acción, fusión con GETCO; octubre de 2013: multa de $12M de la SEC, primer caso de la Regla de Acceso al Mercado
Preguntas y respuestas
¿Qué causó la pérdida comercial de Knight Capital en agosto de 2012?
Knight Capital desplegó manualmente un nuevo código de enrutamiento de órdenes en siete de sus ocho servidores SMARS. El octavo seguía ejecutando Power Peg, un código retirado en 2003, detrás de la misma bandera que la nueva característica reutilizaba. Según la orden de la SEC, envió órdenes secundarias para 212 órdenes de clientes y nunca se detuvo, produciendo 4 millones de ejecuciones y 397 millones de acciones en aproximadamente 45 minutos, y una pérdida de 460 millones de dólares.
¿Por qué es peligroso reutilizar una bandera de característica antigua para un nuevo código?
El mismo valor de la bandera significa entonces dos cosas diferentes en servidores distintos. En el caso de Knight, la nueva característica reutilizó la antigua bandera de Power Peg, por lo que la misma configuración habilitó un nuevo comportamiento en siete servidores y el código retirado de Power Peg en el octavo. El contador de detenciones de Power Peg también había sido movido en 2005 y nunca se volvió a probar, por lo que el código retirado se ejecutó en bucle indefinidamente.
¿Por qué las advertencias o los controles no detuvieron antes las órdenes descontroladas de Knight Capital?
Noventa y siete correos electrónicos que decían 'Power Peg deshabilitado' llegaron antes de la apertura, pero no estaban diseñados como alertas y nadie los leyó. Nada comparó las órdenes de salida con las de entrada, y no había un interruptor de apagado. El monitor de riesgo era una pantalla observada por humanos que no mostraba los límites. Los ingenieros desinstalaron el nuevo código de los siete servidores buenos, lo que activó Power Peg en todas partes.
¿Qué le sucedió a Knight Capital después del fallo comercial de 2012?
Las acciones cayeron un 63% a 2.58 dólares, y Knight obtuvo un rescate de 400 millones de dólares a 1.50 dólares por acción. Acordó una fusión con GETCO para la Navidad de 2012. En 2013, la SEC multó a Knight con 12 millones de dólares en su primer caso de la Regla de Acceso al Mercado y redactó ella misma el post mortem, unos catorce meses después del incidente.
¿Qué deberían cambiar los equipos de ingeniería después del incidente de Knight Capital?
El veredicto de The Daily Diff fue REVERT. Los cambios del episodio son dar a cada nueva característica una nueva bandera, eliminar el código muerto en lugar de deshabilitarlo, y dar un interruptor de apagado a cualquier cosa que envíe órdenes. También señaló que Knight nunca escribió su propio post mortem. La SEC lo hizo, y el despliegue manual no tuvo un segundo revisor ni un procedimiento escrito.
Transcripción traducida
Traducido de la narración original en inglés. El audio y los subtítulos disponibles están controlados por YouTube.
0:00 Una empresa de trading despliega nuevo código en siete de ocho servidores, y el octavo compra y vende casi siete mil millones de dólares en acciones en cuarenta y cinco minutos, lo cual es mucho, incluso para un miércoles. 1 de agosto de 2012. Knight Capital, una décima parte de todo el trading de acciones de EE. UU., reporta una pérdida de 440 millones de dólares. La SEC luego cuenta más de 460, multa a Knight con doce millones, y escribe el postmortem ella misma: diez páginas, cero adjetivos.
0:25 Cómo sucede, por qué es posible y quién tiene la culpa. Este es The Daily Diff, postmortem. 27 de julio. La Bolsa de Nueva York lanza un programa de liquidez minorista el 1 de agosto, por lo que Knight copia nuevo código en SMARS, su enrutador de órdenes, unos pocos servidores al día, a mano. Un técnico, ocho servidores, siete copias. Nadie revisa; ninguna regla dice que alguien tenga que hacerlo. 8:01 a.m. Un sistema interno comienza a enviar por correo electrónico al personal un error que dice: Power
0:51 Peg deshabilitado. Noventa y siete correos electrónicos antes de la apertura. No están diseñados como alertas, por lo que nadie los lee, lo cual es una decisión de diseño con un precio. 9:30, el mercado abre. Siete servidores ejecutan el nuevo código. El octavo ve la misma bandera y ejecuta Power Peg en su lugar: código que Knight retiró en 2003 y nunca borró. Envía órdenes secundarias para 212 órdenes de clientes, y nunca se detiene.
1:13 Cuatro millones de ejecuciones. 397 millones de acciones. Una cuenta de valores supera su límite de dos millones de dólares, que no está conectada a nada. Los ingenieros, en un mercado en vivo, desinstalan el nuevo código de los siete servidores buenos, lo que activa Power Peg en todas partes. Alrededor de las 10:15 se detiene: tres mil quinientos millones en largo, tres mil ciento cincuenta millones en corto.
1:31 Uno: la condición de parada de Power Peg, el contador que dice que la orden principal está completada, se mueve en 2005 y nunca se vuelve a probar, por lo que el código retirado hace un bucle para siempre. Dos: la nueva característica reutiliza la antigua bandera de Power Peg, por lo que el mismo sí significa dos cosas en dos servidores. Tres: no hay interruptor de apagado. Nada compara las órdenes de salida con las de entrada; nada detiene a SMARS. El monitor de riesgo es una pantalla observada por humanos; no muestra los límites. git blame: una bandera reutilizada en lugar de una nueva, código obsoleto invocable durante nueve
2:00 años, y un despliegue manual sin un segundo par de ojos. No el técnico. La orden de la SEC nunca lo nombra, y yo tampoco lo haré. Radio de explosión: 460 millones de dólares, aproximadamente diez millones por minuto. Acciones bajaron un 63 por ciento a dos dólares cincuenta y ocho, un rescate de 400 millones de dólares a un dólar cincuenta por acción, una fusión con Getco para Navidad. Hacker News, jueves: ¿cómo funcionó 45 minutos sin que interviniera un humano? No lo hizo. Los humanos lo empeoraron.
2:25 Veredicto, postmortem: REVERT. Knight nunca escribe su propio postmortem; el regulador lo hace, catorce meses después, y la solución es una multa y una fusión. Lunes: nueva característica, nueva bandera; el código obsoleto se elimina, no se deshabilita; cualquier cosa que envíe órdenes obtiene un interruptor de apagado. Envíame el incidente del que todavía no se te permite hablar, en los comentarios, o en the daily diff dot dev. Y ese es el diff de hoy.
2:48 Soy Niko de Axrisi. Fusión con responsabilidad.
Fuentes
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com



