+− THE DAILY DIFFdev & AI news
REVERT

Unha implantación en 7 de 8 servidores perdeu 460 millóns de dólares. 45 minutos.

1 de agosto de 2012, 9:30 a.m.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

1 de agosto de 2012, 9:30 a.m. ET: Knight Capital, o creador de mercado detrás de aproximadamente unha décima parte de todo o comercio de accións dos Estados Unidos, acaba de implementar un novo código de enrutamento de pedidos en sete dos seus oito servidores SMARS. O oitavo aínda executa "Power Peg", código retirado en 2003, detrás da mesma bandeira que a nova funcionalidade reutiliza. Durante 45 minutos envía pedidos fillos que nunca paran: 4 millóns de execucións, 397 millóns de accións, uns 7.000 millóns de dólares en posicións, unha perda de 460 millóns de dólares. Chegaran 97 correos electrónicos de advertencia antes da apertura. Postmortem, da propia orde da SEC: a implementación manual que ninguén revisou, a bandeira con dous significados, o contador de parada trasladado en 2005 e nunca máis probado, o interruptor de apagado que non existía, e a "solución" nun mercado en vivo que o empeorou. Veredito sobre a solución: REVERT.

Ler a edición escrita (inglés) ↗

Que abrangue este vídeo

  • 27-31 de xullo de 2012: código RLP copiado a man en 7 de 8 servidores SMARS; sen segundo revisor, sen procedemento escrito
  • 1 de agosto, 8:01 a.m.: 97 correos electrónicos de "Power Peg disabled" antes da apertura; non deseñados como alertas, non lidos
  • 1 de agosto, 9:30–10:15: 212 pedidos convértense en 4 millóns de execucións en 154 accións; 3.500 millóns de dólares en longo, 3.150 millóns de dólares en curto; 460 millóns de dólares perdidos; desinstalar o novo código empeórao
  • 2 de agosto – 19 de decembro: accións -63% ata 2,58 $, rescate de 400 millóns de dólares a 1,50 $/acción, fusión con GETCO; outubro de 2013: multa de 12 millóns de dólares da SEC, primeiro caso da regra de acceso ao mercado

Preguntas e respostas

Que causou a perda comercial de Knight Capital en agosto de 2012?

Knight Capital despregou código de enrutamento de pedidos novo manualmente en sete dos seus oito servidores SMARS. O oitavo aínda executaba Power Peg, código retirado en 2003, detrás da mesma bandeira que a nova funcionalidade reutilizaba. Segundo a orde da SEC, enviou pedidos fillos para 212 pedidos de clientes e nunca parou, producindo 4 millóns de execucións e 397 millóns de accións en aproximadamente 45 minutos, e unha perda de 460 millóns de dólares.

www.sec.gov · www.sec.gov

Por que é perigoso reutilizar unha bandeira de funcionalidades antiga para código novo?

O mesmo valor da bandeira significa entón dúas cousas diferentes en servidores distintos. No caso de Knight, a nova funcionalidade reutilizou a antiga bandeira de Power Peg, polo que a mesma configuración habilitaba un novo comportamento en sete servidores e o código retirado de Power Peg no oitavo. O contador de paradas de Power Peg tamén fora movido en 2005 e nunca máis se probou, polo que o código retirado executábase nun bucle infinito.

www.sec.gov

Por que as advertencias ou controis non detiveron antes os pedidos fóra de control de Knight Capital?

Chegaron noventa e sete correos electrónicos dicindo 'Power Peg deshabilitado' antes da apertura, pero non foron deseñados como alertas e ninguén os leu. Nada comparaba os pedidos de saída cos pedidos de entrada, e non había un interruptor de apagado. O monitor de risco era unha pantalla observada por humanos que non mostraba os límites. Os enxeñeiros desinstalaron o código novo dos sete servidores bos, o que activou Power Peg en todas partes.

www.sec.gov · www.sec.gov

Que lle pasou a Knight Capital despois do fallo comercial de 2012?

As accións caeron un 63% ata 2,58 dólares, e Knight aceptou un rescate de 400 millóns de dólares a 1,50 dólares por acción. Acordou unha fusión con GETCO para o Nadal de 2012. En 2013, a SEC multou a Knight con 12 millóns de dólares no seu primeiro caso de Rule de Acceso ao Mercado e escribiu ela mesma o informe postmortem, aproximadamente catorce meses despois do incidente.

www.sec.gov · www.sec.gov · www.sec.gov

Que deberían cambiar os equipos de enxeñaría despois do incidente de Knight Capital?

O veredicto de The Daily Diff foi REVERT. Os cambios do episodio son dar a cada nova funcionalidade unha nova bandeira, eliminar o código morto en lugar de desactivalo, e darlle a calquera cousa que envíe pedidos un interruptor de apagado. Tamén sinalou que Knight nunca escribiu o seu propio informe postmortem. A SEC fíxoo, e o despregamento manual non tivo un segundo revisor nin un procedemento escrito.

www.sec.gov · www.sec.gov

Transcrición traducida

Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.

0:00 Unha empresa de comercio implementa un novo código en sete de oito servidores, e o oitavo compra e vende case sete mil millóns de dólares en accións en corenta e cinco minutos, o que é moito, mesmo para un mércores. 1 de agosto de 2012. Knight Capital, unha décima parte de todo o comercio de accións dos EE. UU., informa dunha perda de 440 millóns de dólares. A SEC contabiliza máis tarde máis de 460, multa a Knight con doce millóns, e escribe o postmortem ela mesma: dez páxinas, cero adxectivos.

0:25 Como ocorre, por que é posible e quen realmente ten a culpa. Este é The Daily Diff, postmortem. 27 de xullo. A Bolsa de Nova York lanza un programa de liquidez minorista o 1 de agosto, polo que Knight copia o novo código en SMARS, o seu enrutador de pedidos, uns poucos servidores ao día, a man. Un técnico, oito servidores, sete copias. Ninguén revisa; ningunha regra di que ninguén teña que facelo. 8:01 a.m. Un sistema interno comeza a enviar por correo electrónico ao persoal un erro que di: Power

0:51 Peg desactivado. Noventa e sete correos electrónicos antes da apertura. Non están deseñados como alertas, polo que ninguén os le, o que é unha decisión de deseño cun prezo. 9:30, o mercado abre. Sete servidores executan o novo código. O oitavo ve a mesma bandeira e executa Power Peg no seu lugar: código que Knight retirou en 2003 e nunca eliminou. Envía pedidos fillos para 212 pedidos de clientes, e nunca para.

1:13 Catro millóns de execucións. 397 millóns de accións. Unha conta de retención excede o seu límite de dous millóns de dólares, que non está conectado a nada. Os enxeñeiros, nun mercado en vivo, desinstalan o novo código dos sete servidores bos, o que activa Power Peg en todas partes. Ao redor das 10:15 para: tres mil cincocentos millóns de dólares en longo, tres mil cento cincuenta millóns de dólares en curto.

1:31 Un: a condición de parada de Power Peg, o contador que di que o pedido pai está cuberto, móvese en 2005 e nunca se volve probar, polo que o código retirado bucle para sempre. Dous: a nova característica reutiliza a antiga bandeira de Power Peg, polo que o mesmo "si" significa dúas cousas en dous servidores. Tres: sen interruptor de apagado. Nada compara os pedidos de saída cos de entrada; nada detén SMARS. O monitor de risco é unha pantalla observada por humanos; non mostra os límites. git blame: unha bandeira reutilizada en lugar dunha nova, código morto invocable durante nove

2:00 anos, e unha implementación manual sen un segundo par de ollos. Non o técnico. A orde da SEC nunca o nomea, e eu tampouco o farei. Radio de explosión: 460 millóns de dólares, aproximadamente dez millóns por minuto. Accións baixaron un 63 por cento ata dous dólares cincuenta e oito, un rescate de 400 millóns de dólares a un dólar cincuenta por acción, unha fusión con Getco por Nadal. Hacker News, xoves: como funcionou 45 minutos sen que interviñese un humano? Non o fixo. Os humanos empeorárono.

2:25 Veredito, postmortem: reverter. Knight nunca escribe o seu propio postmortem; o regulador si, catorce meses despois, e a solución é unha multa e unha fusión. Luns: nova funcionalidade, nova bandeira; o código morto elimínase, non se desactiva; calquera cousa que envíe pedidos obtén un interruptor de apagado. Envía o incidente do que aínda non tes permitido falar, nos comentarios, ou en the daily diff dot dev. E esa é a diferenza por hoxe.

2:48 Son Niko de Axrisi. Fusión con responsabilidade.

Fontes

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionados