Deploy ke 7 dari 8 server rugikan $460 juta. 45 menit.

Isi video ini

• 27–31 Jul 2012: Kode RLP disalin secara manual ke 7 dari 8 server SMARS; tidak ada peninjau kedua, tidak ada prosedur tertulis
• 1 Agu, 8:01 pagi: 97 email "Power Peg disabled" sebelum pembukaan pasar; tidak dirancang sebagai peringatan, tidak dibaca
• 1 Agu, 9:30–10:15: 212 pesanan menjadi 4 juta eksekusi dalam 154 saham; $3,5 miliar posisi long, $3,15 miliar posisi short; $460 juta hilang; mencopot pemasangan kode baru memperburuk keadaan
• 2 Agu – 19 Des: saham −63% menjadi $2,58, penyelamatan $400 juta dengan $1,50/saham, merger dengan GETCO; Okt 2013: denda SEC $12 juta, kasus Aturan Akses Pasar pertama

Transkrip terjemahan

Diterjemahkan dari narasi asli bahasa Inggris. Audio dan teks tersedia yang dikontrol oleh YouTube.

0:00 Sebuah perusahaan perdagangan menerapkan kode baru ke tujuh dari delapan server, dan yang kedelapan membeli dan menjual hampir tujuh miliar dolar saham dalam empat puluh lima menit, yang sangat banyak, bahkan untuk hari Rabu. 1 Agustus 2012. Knight Capital, sepersepuluh dari seluruh perdagangan saham AS, melaporkan kerugian 440 juta dolar. SEC kemudian menghitung lebih dari 460, mendenda Knight dua belas juta, dan menulis postmortem itu sendiri: sepuluh halaman, nol kata sifat.

0:25 Bagaimana itu terjadi, mengapa itu mungkin, dan siapa yang sebenarnya disalahkan. Ini The Daily Diff, postmortem. 27 Juli. Bursa Efek New York meluncurkan program likuiditas ritel pada 1 Agustus, jadi Knight menyalin kode baru ke SMARS, perute pesanannya, beberapa server sehari, secara manual. Satu teknisi, delapan server, tujuh salinan. Tidak ada yang memeriksa; tidak ada aturan yang mengatakan siapa pun harus melakukannya. 8:01 pagi. Sistem internal mulai mengirim email kepada staf sebuah kesalahan yang berbunyi: Power

0:51 Peg disabled. Sembilan puluh tujuh email sebelum pembukaan pasar. Itu tidak dirancang sebagai peringatan, jadi tidak ada yang membacanya, yang merupakan keputusan desain dengan label harga. 9:30, pasar dibuka. Tujuh server menjalankan kode baru. Yang kedelapan melihat bendera yang sama dan menjalankan Power Peg sebagai gantinya: kode yang dipensiunkan Knight pada 2003 dan tidak pernah dihapus. Ini mengirimkan pesanan turunan untuk 212 pesanan pelanggan, dan tidak pernah berhenti.

1:13 Empat juta eksekusi. 397 juta saham. Akun penampung membengkak melewati batas dua juta dolarnya, yang tidak terhubung ke apa pun. Para insinyur, di pasar langsung, mencopot pemasangan kode baru dari tujuh server yang bagus, yang mengaktifkan Power Peg di mana-mana. Sekitar pukul 10:15 itu berhenti: tiga setengah miliar posisi long, tiga koma satu lima miliar posisi short.

1:31 Satu: Kondisi berhenti Power Peg, penghitung yang mengatakan pesanan induk terisi, dipindahkan pada tahun 2005 dan tidak pernah diuji ulang, jadi kode yang dipensiunkan berulang tanpa henti. Dua: fitur baru menggunakan kembali bendera lama Power Peg, jadi "ya" yang sama berarti dua hal di dua server. Tiga: tidak ada sakelar pemutus. Tidak ada yang membandingkan pesanan keluar dengan pesanan masuk; tidak ada yang menghentikan SMARS. Monitor risiko adalah layar yang diawasi oleh manusia; itu tidak menunjukkan batas. git blame: bendera digunakan kembali alih-alih yang baru, kode mati dapat dipanggil selama sembilan

2:00 tahun, dan deploy manual tanpa peninjauan kedua. Bukan teknisi. Perintah SEC tidak pernah menyebut namanya, dan saya juga tidak akan melakukannya. Radius ledakan: 460 juta dolar, sekitar sepuluh juta per menit. Saham turun 63 persen menjadi dua dolar lima puluh delapan, penyelamatan 400 juta dolar dengan satu dolar lima puluh per saham, merger dengan Getco menjelang Natal. Hacker News, Kamis: bagaimana bisa berjalan 45 menit tanpa campur tangan manusia? Tidak. Manusia memperburuknya.

2:25 Putusan, postmortem: revert. Knight tidak pernah menulis postmortemnya sendiri; regulator yang melakukannya, empat belas bulan kemudian, dan perbaikannya adalah denda dan merger. Senin: fitur baru, bendera baru; kode mati dihapus, tidak dinonaktifkan; apa pun yang mengirim pesanan mendapatkan sakelar pemutus. Kirimkan saya insiden yang masih tidak diizinkan Anda bicarakan, di komentar, atau di daily diff dot dev. Dan itulah perbedaannya untuk hari ini.

2:48 Saya Niko dari Axrisi. Gabungkan dengan bertanggung jawab.

Sumber

1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com