8 серверийн 7-д нь шинэ код суулгаснаар 460 сая долларын алдагдал хүлээжээ. 45 минут.

Энэ видео юуг хамардаг

• 2012 оны 7-р сарын 27–31: RLP кодыг 8 SMARS серверийн 7-д гар аргаар хуулсан; хоёрдогч шалгагчгүй, бичгээр журамгүй
• 8-р сарын 1, 8:01 цаг: Нээлтийн өмнө 97 "Power Peg disabled" цахим шуудан ирсэн; сэрэмжлүүлэг болгон зохиогоогүй, уншаагүй
• 8-р сарын 1, 9:30–10:15: 212 захиалга 154 хувьцаанд 4 сая гүйлгээ болж хувирсан; 3.5 тэрбум долларын урт, 3.15 тэрбум долларын богино; 460 сая долларын алдагдал; шинэ кодыг устгаснаар байдал улам дордсон
• 8-р сарын 2 – 12-р сарын 19: хувьцаа −63% буурч 2.58 доллар болсон, 400 сая долларын аврах ажиллагаа нэг хувьцааг 1.50 доллараар, GETCO-той нэгдсэн; 2013 оны 10-р сар: 12 сая долларын SEC торгууль, анхны Зах зээлийн хандалтын дүрмийн хэрэг

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

0:00 Арилжааны компани найман серверийн долоод шинэ код суулгасан, мөн найм дахь нь бараг долоон тэрбум долларын хувьцааг худалдаж авч, зарсан дөчин таван минутын дотор, энэ нь лхагва гаригт ч гэсэн маш их юм. 2012 оны наймдугаар сарын 1. Knight Capital, АНУ-ын бүх хувьцааны арилжааны аравны нэг, 440 сая долларын алдагдал хүлээсэн тухай мэдээлсэн. SEC хожим 460-аас дээш тоолж, Knight-ыг арван хоёр саяар торгож, мөн postmortem-ийг өөрөө бичсэн: арван хуудас, тэг тодотгол.

0:25 Хэрхэн болсон, яагаад боломжтой болсон, мөн хэн үнэндээ буруутай вэ. Энэ бол The Daily Diff, postmortem. 7-р сарын 27. Нью-Йоркийн Хөрөнгийн Бирж жижиглэнгийн худалдааны хөрвөх чадварын хөтөлбөрийг эхлүүлсэн 8-р сарын 1-нд, тиймээс Knight шинэ кодыг SMARS буюу захиалгын чиглүүлэгчидээ хуулсан, өдөрт хэдэн серверийг гар аргаар. Нэг техникч, найман сервер, долоон хуулбар. Хэн ч шалгадаггүй; хэн нэгнийг шалгах ёстой гэсэн дүрэм байхгүй. 8:01 цаг. Дотоод систем ажилтнуудад Power гэсэн алдааны цахим шуудан илгээж эхэлсэн.

0:51 Peg идэвхгүй болсон. Нээлтийн өмнө ерэн долоон цахим шуудан. Тэд сэрэмжлүүлэг болгон зохиогдоогүй, тиймээс хэн ч тэдгээрийг уншдаггүй, энэ нь үнэтэй загварын шийдвэр юм. 9:30, зах зээл нээгдэв. Долоон сервер шинэ кодыг ажиллуулж байна. Найм дахь нь ижил тугийг харж, оронд нь Power Peg-ийг ажиллуулсан: Knight-ийн 2003 онд хуучирсан кодыг хэзээ ч устгаагүй. Энэ нь 212 хэрэглэгчийн захиалганд зориулж хүүхэд захиалга илгээж, хэзээ ч зогсоодоггүй.

1:13 Дөрвөн сая гүйлгээ. 397 сая хувьцаа. Хадгалах данс хоёр сая долларын хязгаарыг давсан, энэ нь юунд ч холбогдоогүй. Инженерүүд, амьд зах зээл дээр, шинэ кодыг долоон сайн серверээс устгасан, энэ нь Power Peg-ийг хаа сайгүй асаасан. 10:15 орчимд зогссон: гурван хагас тэрбум урт, гурван цэг арван таван тэрбум богино.

1:31 Нэг: Power Peg-ийн зогсоох нөхцөл, эх захиалга дүүрсэн гэж хэлдэг тоолуур, 2005 онд нүүлгэгдсэн бөгөөд хэзээ ч дахин шалгагдаагүй, тиймээс хуучирсан код үүрд давтагдсан. Хоёр: шинэ функц Power Peg-ийн хуучин тугийг дахин ашигласан, тиймээс ижил тийм гэдэг нь хоёр сервер дээр хоёр өөр утгатай. Гурав: унтраалга байхгүй. Гарах захиалгыг орох захиалгатай юу ч харьцуулаагүй; SMARS-ыг юу ч зогсоогоогүй. Эрсдлийн хяналт нь хүмүүсийн хардаг дэлгэц юм; энэ нь хязгаарлалтыг харуулаагүй. git blame: шинэ тугийн оронд дахин ашигласан туг, есөн жил дуудлага хийх боломжтой байсан үхсэн код,

2:00 мөн хоёр дахь хос нүдгүй гар аргаар суулгасан. Техникч биш. SEC-ийн захиалга түүнийг хэзээ ч нэрлээгүй, би ч мөн адил. Тэсрэлтийн радиус: 460 сая доллар, минутанд арван сая орчим. Хувьцаа 63 хувиар буурч хоёр доллар тавин найм болсон, нэг хувьцааг нэг доллар тавин центийн үнээр 400 сая долларын аврах ажиллагаа, Зул сарын баяраар Getco-той нэгдсэн. Hacker News, Пүрэв гараг: хүн оролцохгүйгээр 45 минут хэрхэн ажилласан бэ? Ажиллаагүй. Хүмүүс улам дордуулсан.

2:25 Дүгнэлт, postmortem: REVERT. Knight хэзээ ч өөрийн postmortem-ийг бичээгүй; зохицуулагч бичсэн, арван дөрвөн сарын дараа, мөн засвар нь торгууль болон нэгдэл байсан. Даваа гараг: шинэ функц, шинэ туг; үхсэн кодыг устгасан, идэвхгүй болгоогүй; захиалга илгээдэг юу ч унтраалгатай болсон. Таны ярихыг зөвшөөрдөггүй ослыг надад илгээнэ үү, коммент хэсэгт, эсвэл the daily diff dot dev хаягаар. Мөн энэ бол өнөөдрийн diff.

2:48 Би Axrisi-гийн Нико байна. Хариуцлагатай нэгдээрэй.

Эх сурвалжууд

1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com