+− THE DAILY DIFFdev & AI news
REVERT

8 सर्भरमध्ये 7 मा एक परिनियोजन गर्दा $460 मिलियन नोक्सान भयो। 45 मिनेट।

अगस्ट 1, 2012, बिहान 9:30 बजे ET: Knight Capital, जसले सबै अमेरिकी स्टक ट्रेडिंगको लगभग दशौं भागको बजार निर्माण गर्छ, ले भर्खरै आफ्ना आठ SMARS सर्भरमध्ये सातमा नयाँ अर्डर-राउटिङ कोड परिनियोजन गरेको छ।

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

अगस्ट 1, 2012, बिहान 9:30 बजे ET: Knight Capital, जसले सबै अमेरिकी स्टक ट्रेडिंगको लगभग दशौं भागको बजार निर्माण गर्छ, ले भर्खरै आफ्ना आठ SMARS सर्भरमध्ये सातमा नयाँ अर्डर-राउटिङ कोड परिनियोजन गरेको छ। आठौंमा अझै "Power Peg" चलिरहेको छ, जुन 2003 मा हटाइएको कोड हो, नयाँ सुविधाले पुनःप्रयोग गरेको सोही झण्डा पछाडि। 45 मिनेटसम्म यसले कहिल्यै नरोकिने चाइल्ड अर्डरहरू पठाउँछ: 4 मिलियन कार्यान्वयन, 397 मिलियन शेयर, लगभग $7 बिलियनको स्थिति, $460 मिलियनको नोक्सान। बजार खुल्नुअघि 97 चेतावनी इमेलहरू आएका थिए। SEC को आफ्नै आदेशबाट पोस्टमार्टम: कसैले समीक्षा नगरेको म्यानुअल परिनियोजन, दुई अर्थ भएको झण्डा, 2005 मा सारिएको र कहिल्यै पुन: परीक्षण नगरिएको स्टप-काउन्टर, अवस्थित नभएको किल स्विच, र प्रत्यक्ष बजारमा "सुधार" जसले यसलाई अझ खराब बनायो। सुधारमा निर्णय: REVERT।

लिखित संस्करण पढ्नुहोस् (अंग्रेजी) ↗

यो भिडियोले के समेट्छ

  • जुलाई 27–31, 2012: RLP कोड हातले 8 SMARS सर्भरमध्ये 7 मा प्रतिलिपि गरियो; कुनै दोस्रो समीक्षक थिएन, कुनै लिखित प्रक्रिया थिएन
  • अगस्ट 1, बिहान 8:01: बजार खुल्नुअघि 97 "Power Peg disabled" इमेलहरू; अलर्टको रूपमा डिजाइन गरिएको थिएन, पढिएको थिएन
  • अगस्ट 1, 9:30–10:15: 212 अर्डरहरू 154 स्टकहरूमा 4M कार्यान्वयनमा परिणत भए; $3.5B लामो, $3.15B छोटो; $460M नोक्सान भयो; नयाँ कोड हटाउँदा यो अझ खराब भयो
  • अगस्ट 2 – डिसेम्बर 19: शेयरहरू 63% घटेर $2.58 मा पुग्यो, $1.50/शेयरमा $400M को उद्धार, GETCO सँग मर्जर; अक्टोबर 2013: $12M SEC जरिवाना, पहिलो Market Access Rule केस

प्रश्न र उत्तर

अगस्त २०१२ मा नाइट क्यापिटलको व्यापारिक घाटाको कारण के थियो?

नाइट क्यापिटलले आफ्ना आठ SMARS सर्भरमध्ये सातमा नयाँ अर्डर-राउटिङ कोड हातैले तैनाथ गर्‍यो। आठौंले अझै पनि २००३ मा सेवानिवृत्त भएको कोड पावर पेग चलाएको थियो, जुन नयाँ सुविधाले पुन: प्रयोग गरेको एउटै झण्डा पछाडि थियो। SEC को आदेश अनुसार, यसले २१२ ग्राहक अर्डरका लागि चाइल्ड अर्डर पठायो र कहिल्यै रोकिएन, जसले लगभग ४५ मिनेटमा ४० लाख कार्यान्वयन र ३९ करोड ७० लाख शेयर उत्पादन गर्‍यो, र ४६ करोड डलरको घाटा भयो।

www.sec.gov · www.sec.gov

नयाँ कोडको लागि पुरानो सुविधा झण्डा पुन: प्रयोग गर्नु किन खतरनाक छ?

एउटै झण्डाको मानले फरक-फरक सर्भरमा दुई फरक कुराको अर्थ राख्छ। नाइटको मामिलामा नयाँ सुविधाले पावर पेगको पुरानो झण्डा पुन: प्रयोग गर्‍यो, त्यसैले एउटै सेटिङले सात सर्भरमा नयाँ व्यवहार र आठौंमा सेवानिवृत्त पावर पेग कोड सक्षम पार्यो। पावर पेगको स्टप काउन्टर पनि २००५ मा सारिएको थियो र कहिल्यै पुन: परीक्षण गरिएको थिएन, त्यसैले सेवानिवृत्त कोड सधैंभरि लुप भयो।

www.sec.gov

चेतावनी वा नियन्त्रणहरूले नाइट क्यापिटलको अनियन्त्रित अर्डरहरूलाई चाँडै किन रोकेनन्?

बजार खुल्नुअघि पावर पेग असक्षम गरियो भन्ने ९७ इमेलहरू आएका थिए, तर तिनीहरू अलर्टको रूपमा डिजाइन गरिएका थिएनन् र कसैले पनि पढेनन्। भित्र आएका अर्डरहरूलाई बाहिर गएका अर्डरहरूसँग तुलना गर्ने कुनै कुरा थिएन, र त्यहाँ कुनै किल स्विच थिएन। जोखिम मनिटर मानिसहरूले हेर्ने स्क्रिन थियो जसले सीमाहरू देखाउँदैनथ्यो। इन्जिनियरहरूले सात राम्रा सर्भरहरूबाट नयाँ कोड अनइन्स्टल गरे, जसले गर्दा पावर पेग सबैतिर सक्रिय भयो।

www.sec.gov · www.sec.gov

२०१२ को व्यापारिक गडबडी पछि नाइट क्यापिटललाई के भयो?

शेयरहरू ६३% ले घटेर $2.58 मा पुगे, र नाइटले प्रति शेयर $1.50 मा $400 मिलियनको उद्धार लियो। यसले २०१२ को क्रिसमससम्म GETCO सँग मर्जर गर्न सहमत भयो। २०१३ मा SEC ले नाइटलाई आफ्नो पहिलो मार्केट एक्सेस रूल मामिलामा $12 मिलियन जरिवाना गर्‍यो र घटनाको लगभग चौध महिनापछि आफैंले पोस्टमार्टम लेख्यो।

www.sec.gov · www.sec.gov · www.sec.gov

नाइट क्यापिटल घटना पछि इन्जिनियरिङ टोलीहरूले के परिवर्तन गर्नुपर्छ?

The Daily Diff को फैसला REVERT थियो। यस घटनाका परिवर्तनहरू प्रत्येक नयाँ सुविधालाई नयाँ झण्डा दिनु, निष्क्रिय कोडलाई निष्क्रिय गर्नुको सट्टा मेटाउनु, र अर्डर पठाउने कुनै पनि चीजलाई अफ स्विच दिनु हो। यसले यो पनि उल्लेख गरेको थियो कि नाइटले कहिल्यै आफ्नै पोस्टमार्टम लेखेन। SEC ले गर्‍यो, र म्यानुअल डिप्लोयमा दोस्रो समीक्षक र लिखित प्रक्रिया थिएन।

www.sec.gov · www.sec.gov

अनुवादित ट्रान्सक्रिप्ट

मूल अंग्रेजी कथाबाट अनुवादित। उपलब्ध अडियो र क्याप्सनहरू YouTube द्वारा नियन्त्रित हुन्छन्।

0:00 एक ट्रेडिंग फर्मले आठ मध्ये सात सर्भरमा नयाँ कोड परिनियोजन गर्छ, र आठौंले लगभग सात अर्ब डलरको स्टक खरिद र बिक्री गर्छ पैंतालीस मिनेटमा, जुन धेरै हो, बुधबारको लागि पनि। अगस्ट 1, 2012। नाइट क्यापिटल, सबै अमेरिकी स्टक ट्रेडिंगको दशौं भाग, ले 440 मिलियन डलरको घाटा रिपोर्ट गर्छ। SEC ले पछि 460 भन्दा बढी गणना गर्छ, नाइटलाई बाह्र मिलियन जरिवाना गर्छ, र पोस्टमार्टम आफैं लेख्छ: दस पृष्ठ, शून्य विशेषण।

0:25 यो कसरी हुन्छ, किन यो सम्भव छ, र कसलाई वास्तवमा दोष लाग्छ। यो The Daily Diff, पोस्टमार्टम हो। जुलाई 27। न्यूयोर्क स्टक एक्सचेन्जले रिटेल तरलता कार्यक्रम सुरु गर्छ अगस्ट 1 मा, त्यसैले नाइटले SMARS, यसको अर्डर राउटरमा नयाँ कोड प्रतिलिपि गर्छ, केही सर्भरहरू एक दिन, हातले। एक प्राविधिक, आठ सर्भर, सात प्रतिलिपिहरू। कसैले जाँच गर्दैन; कुनै नियमले कसैलाई जाँच गर्नुपर्छ भन्दैन। बिहान 8:01। एक आन्तरिक प्रणालीले कर्मचारीहरूलाई त्रुटि इमेल गर्न सुरु गर्छ जसमा लेखिएको छ: Power

0:51 Peg disabled। बजार खुल्नुअघि सतान्नब्बे इमेलहरू। तिनीहरू अलर्टको रूपमा डिजाइन गरिएका छैनन्, त्यसैले कसैले तिनीहरूलाई पढ्दैन, जुन एक मूल्य ट्याग सहितको डिजाइन निर्णय हो। 9:30, बजार खुल्छ। सात सर्भरले नयाँ कोड चलाउँछन्। आठौंले उही झण्डा देख्छ र त्यसको सट्टा Power Peg चलाउँछ: नाइटले 2003 मा हटाइसकेको र कहिल्यै नमेटिएको कोड। यसले 212 ग्राहक अर्डरका लागि चाइल्ड अर्डरहरू पठाउँछ, र कहिल्यै रोकिँदैन।

1:13 चार मिलियन कार्यान्वयन। 397 मिलियन शेयर। एक होल्डिङ खाता यसको दुई मिलियन डलरको सीमा भन्दा माथि फुल्छ, जुन कुनै कुरामा जोडिएको छैन। इन्जिनियरहरूले, प्रत्यक्ष बजारमा, सात राम्रो सर्भरहरूबाट नयाँ कोड हटाउँछन्, जसले Power Peg लाई सबै ठाउँमा सक्रिय गर्छ। लगभग 10:15 मा यो रोकिन्छ: साढे तीन अर्ब लामो, तीन दशमलव एक पाँच अर्ब छोटो।

1:31 एक: Power Peg को स्टप अवस्था, जसले अभिभावक अर्डर भरिएको भन्छ, त्यो 2005 मा सारियो र कहिल्यै पुन: परीक्षण गरिएन, त्यसैले हटाइएको कोड सधैंभरि लूप गर्छ। दुई: नयाँ सुविधाले Power Peg को पुरानो झण्डा पुनःप्रयोग गर्छ, त्यसैले एउटै 'हो' को दुई सर्भरमा दुई अर्थ हुन्छ। तीन: कुनै किल स्विच छैन। कुनै पनि कुराले बाहिरका अर्डरहरूलाई भित्रका अर्डरहरूसँग तुलना गर्दैन; कुनै पनि कुराले SMARS लाई रोक्दैन। जोखिम मनिटर मानिसहरूले हेर्ने स्क्रिन हो; यसले सीमाहरू देखाउँदैन। git blame: नयाँको सट्टा पुनःप्रयोग गरिएको झण्डा, नौ वर्षसम्म कल गर्न सकिने मृत कोड,

2:00 र दोस्रो जोडी आँखा बिनाको म्यानुअल परिनियोजन। प्राविधिक होइन। SEC आदेशले कहिल्यै उसको नाम लिँदैन, र म पनि लिनेछैन। विस्फोट त्रिज्या: 460 मिलियन डलर, लगभग प्रति मिनेट दस मिलियन। शेयरहरू 63 प्रतिशतले घटेर दुई डलर पचास-आठमा पुग्यो, एक डलर पचास प्रति शेयरमा 400 मिलियन डलरको उद्धार, क्रिसमससम्म गेटकोसँग मर्जर। ह्याकर समाचार, बिहीबार: यो कसरी 45 मिनेटसम्म मानिसले हस्तक्षेप नगरी चल्यो? यो चलेन। मानिसहरूले यसलाई अझ खराब बनाए।

2:25 फैसला, पोस्टमार्टम: revert। नाइटले कहिल्यै आफ्नै पोस्टमार्टम लेख्दैन; नियामकले गर्छ, चौध महिना पछि, र समाधान एक जरिवाना र मर्जर हो। सोमबार: नयाँ सुविधा, नयाँ झण्डा; मृत कोड मेटाइन्छ, असक्षम पारिँदैन; अर्डर पठाउने कुनै पनि चीजमा अफ स्विच हुन्छ। मलाई त्यो घटना पठाउनुहोस् जुन तपाईंलाई अझै पनि कुरा गर्न अनुमति छैन, टिप्पणीहरूमा, वा daily diff dot dev मा। र आजको लागि यो diff हो।

2:48 म Axrisi बाट Niko हुँ। जिम्मेवारीपूर्वक मर्ज गर्नुहोस्।

स्रोतहरू

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

सम्बन्धित भिडियोहरू

postmortem · ne · २०२६ सेप्टेम्बर १९

गुगल क्लाउड खाली फिल्डमा क्र्यास भयो। तीन घण्टासम्म।

केही खाली फिल्डहरू भएको नीति पङ्क्तिले नल पोइन्टरमा हिर्काउँछ, र गुगल क्लाउड एकैचोटि सबै क्षेत्रमा क्र्यास हुन्छ — त्यसपछि क्लाउडफ्लेयर पनि त्यसको साथमा खस्छ। जून १२, २०२५, १७:४९ UTC: सर्भिस कन्ट्रोल,

2:57 ↗
postmortem · ne · २०२६ सेप्टेम्बर १२

एउटा रेगुलर एक्सप्रेसनले क्लाउडफ्लेरलाई २७ मिनेटसम्म बन्द गर्‍यो।

जुलाई २, २०१९, १३:४२ UTC: क्लाउडफ्लेरको वेब एप्लिकेसन फायरवालको लागि एउटा नयाँ नियम लगभग दुई सेकेन्डमा १८०+ शहरहरूमा लाइभ हुन्छ। यो सिमुलेट मोडमा एउटा XSS नियम हो, त्यसैले यसले केही रोक्दैन, तर यसले प

3:00 ↗
postmortem · ne · २०२६ सेप्टेम्बर २५

एक मिलिसेकेन्डको बगले बेलायतको हवाई यातायात रोक्यो। छ घण्टा।

मंगलबार, सेप्टेम्बर ८ को बिहान १०:०० बजे, NATS को नेशनल एयरस्पेस सिस्टम (NAS) भित्रको एउटा सामान्य स्क्वाक-कोड अनुरोधलाई उच्च प्राथमिकताको सन्देशले अवरुद्ध गर्‍यो, जबकि यो मान अद्यावधिक गर्ने आधा बाटो

3:06 ↗
postmortem · ne · २०२६ सेप्टेम्बर २२

रिबुटले टेल्स्ट्रालाई 2006 मा पुर्यायो। ९० लाख फोनहरू।

मेलबर्नमा एक इन्जिनियरले बिहान २:५० बजे टाइमिंग चेसिसलाई फेरि अन गर्छन्, र बिहानको नास्तासम्ममा अष्ट्रेलियाको सबैभन्दा ठूलो मोबाइल नेटवर्क नोभेम्बर २००६ भएको कुरामा सहमत हुन्छ। जुलाई ८, २०२६: टेल्स्ट्

3:15 ↗