+− THE DAILY DIFFdev & AI news
REVERT

استقرار در 7 سرور از 8 سرور 460 میلیون دلار ضرر وارد کرد. 45 دقیقه.

1 اوت 2012، 9:30 صبح به وقت شرق: Knight Capital، بازارساز تقریباً یک دهم کل معاملات سهام ایالات متحده، کدهای مسیریابی سفارش جدید را در هفت سرور از هشت سرور SMARS خود مستقر کرده است.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

1 اوت 2012، 9:30 صبح به وقت شرق: Knight Capital، بازارساز تقریباً یک دهم کل معاملات سهام ایالات متحده، کدهای مسیریابی سفارش جدید را در هفت سرور از هشت سرور SMARS خود مستقر کرده است. هشتمین سرور همچنان «Power Peg» را اجرا می‌کند، کدی که در سال 2003 بازنشسته شد، پشت همان پرچمی که ویژگی جدید دوباره استفاده می‌کند. برای 45 دقیقه، سفارشات فرزندی را ارسال می‌کند که هرگز متوقف نمی‌شوند: 4 میلیون اجرا، 397 میلیون سهم، حدود 7 میلیارد دلار موقعیت، 460 میلیون دلار ضرر. 97 ایمیل هشدار قبل از باز شدن بازار رسیده بود. کالبدشکافی، از دستور خود SEC: استقرار دستی که هیچ کس بررسی نکرد، پرچم با دو معنی، شمارنده توقف که در سال 2005 جابجا شد و هرگز دوباره آزمایش نشد، سوئیچ کشتاری که وجود نداشت، و «ترمیم» در بازار زنده که اوضاع را بدتر کرد. حکم در مورد ترمیم: REVERT.

نسخه نوشتاری را بخوانید (انگلیسی) ↗

این ویدیو چه مواردی را پوشش می‌دهد

  • 27 تا 31 ژوئیه 2012: کد RLP به صورت دستی در 7 سرور از 8 سرور SMARS کپی شد؛ هیچ بازبین دومی، هیچ رویه کتبی وجود نداشت.
  • 1 اوت، 8:01 صبح: 97 ایمیل «Power Peg disabled» قبل از باز شدن بازار؛ به عنوان هشدار طراحی نشده بودند، خوانده نشدند.
  • 1 اوت، 9:30 تا 10:15: 212 سفارش به 4 میلیون اجرا در 154 سهام تبدیل شد؛ 3.5 میلیارد دلار خرید، 3.15 میلیارد دلار فروش؛ 460 میلیون دلار ضرر؛ حذف نصب کد جدید وضعیت را بدتر کرد.
  • 2 اوت تا 19 دسامبر: سهام 63 درصد کاهش به 2.58 دلار، 400 میلیون دلار نجات با 1.50 دلار در هر سهم، ادغام با GETCO؛ اکتبر 2013: 12 میلیون دلار جریمه SEC، اولین پرونده قانون دسترسی به بازار.

سوالات متداول

چه چیزی باعث زیان معاملاتی نایت کپیتال در آگوست ۲۰۱۲ شد؟

نایت کپیتال کد جدید مسیریابی سفارش را به صورت دستی در هفت سرور از هشت سرور SMARS خود مستقر کرد. سرور هشتم همچنان Power Peg را اجرا می‌کرد، کدی که در سال ۲۰۰۳ بازنشسته شده بود، با همان پرچمی که ویژگی جدید دوباره از آن استفاده می‌کرد. طبق دستور SEC، این کد سفارشات فرعی را برای ۲۱۲ سفارش مشتری ارسال کرد و هرگز متوقف نشد و در حدود ۴۵ دقیقه ۴ میلیون اجرا و ۳۹۷ میلیون سهم و ۴۶۰ میلیون دلار ضرر تولید کرد.

www.sec.gov · www.sec.gov

چرا استفاده مجدد از یک پرچم ویژگی قدیمی برای کد جدید خطرناک است؟

سپس همان مقدار پرچم در سرورهای مختلف دو معنی متفاوت پیدا می‌کند. در مورد نایت، ویژگی جدید از پرچم قدیمی Power Peg استفاده مجدد کرد، بنابراین همان تنظیمات، رفتار جدید را در هفت سرور و کد بازنشسته Power Peg را در سرور هشتم فعال کرد. شمارنده توقف Power Peg نیز در سال ۲۰۰۵ جابجا شده بود و هرگز دوباره آزمایش نشده بود، بنابراین کد بازنشسته برای همیشه در یک حلقه قرار گرفت.

www.sec.gov

چرا هشدارها یا کنترل‌ها سفارشات سرکش نایت کپیتال را زودتر متوقف نکردند؟

نود و هفت ایمیل با عنوان «Power Peg غیرفعال شد» قبل از باز شدن بازار رسید، اما آنها به عنوان هشدار طراحی نشده بودند و کسی آنها را نخواند. هیچ چیز سفارشات خروجی را با سفارشات ورودی مقایسه نمی‌کرد و هیچ کلید قطع اضطراری وجود نداشت. نمایشگر ریسک صفحه‌ای بود که توسط انسان‌ها تماشا می‌شد و محدودیت‌ها را نشان نمی‌داد. مهندسان کد جدید را از هفت سرور سالم حذف نصب کردند، که Power Peg را در همه جا فعال کرد.

www.sec.gov · www.sec.gov

چه اتفاقی برای نایت کپیتال پس از نقص معاملاتی سال ۲۰۱۲ افتاد؟

سهام ۶۳ درصد سقوط کرد و به ۲.۵۸ دلار رسید و نایت با قیمت ۱.۵۰ دلار به ازای هر سهم، ۴۰۰ میلیون دلار کمک مالی دریافت کرد. این شرکت با ادغام با GETCO تا کریسمس ۲۰۱۲ موافقت کرد. در سال ۲۰۱۳، SEC نایت را در اولین پرونده قانون دسترسی به بازار ۱۲ میلیون دلار جریمه کرد و گزارش پس از حادثه را خود نوشت، حدود چهارده ماه پس از حادثه.

www.sec.gov · www.sec.gov · www.sec.gov

چه تغییراتی را باید تیم‌های مهندسی پس از حادثه نایت کپیتال اعمال کنند؟

حکم The Daily Diff، REVERT بود. تغییرات این رویداد شامل اختصاص دادن یک پرچم جدید به هر ویژگی جدید، حذف کد مرده به جای غیرفعال کردن آن، و قرار دادن یک کلید خاموش برای هر چیزی است که سفارشات را ارسال می‌کند. همچنین اشاره شد که نایت هرگز گزارش پس از حادثه خود را ننوشت. SEC این کار را انجام داد، و استقرار دستی هیچ بازبین دومی و هیچ رویه مکتوبی نداشت.

www.sec.gov · www.sec.gov

رونوشت ترجمه شده

ترجمه شده از روایت اصلی انگلیسی. صوت و زیرنویس‌های موجود توسط YouTube کنترل می‌شوند.

0:00 یک شرکت تجاری کد جدید را در هفت سرور از هشت سرور مستقر می‌کند، و هشتمین سرور نزدیک به هفت میلیارد دلار سهام را در چهل و پنج دقیقه خرید و فروش می‌کند، که مقدار زیادی است، حتی برای یک چهارشنبه. اول اوت 2012. Knight Capital، یک دهم کل سهام ایالات متحده، گزارش ضرر 440 میلیون دلاری را می‌دهد. SEC بعداً بیش از 460 میلیون را شمارش می‌کند، Knight را دوازده میلیون جریمه می‌کند، و کالبدشکافی را خودش می‌نویسد: ده صفحه، صفر صفت.

0:25 چگونه اتفاق می‌افتد، چرا ممکن است، و چه کسی واقعاً مقصر است. این The Daily Diff، کالبدشکافی است. 27 ژوئیه. بورس اوراق بهادار نیویورک یک برنامه نقدینگی خرده‌فروشی را در اول اوت راه‌اندازی می‌کند، بنابراین Knight کد جدید را به SMARS، روتر سفارش خود، هر روز چند سرور را به صورت دستی کپی می‌کند. یک تکنسین، هشت سرور، هفت کپی. هیچ کس بررسی نمی‌کند؛ هیچ قانونی نمی‌گوید که کسی باید. 8:01 صبح. یک سیستم داخلی شروع به ارسال ایمیل خطایی به کارکنان می‌کند که می‌خواند: Power

0:51 Peg disabled. نود و هفت ایمیل قبل از باز شدن بازار. آنها به عنوان هشدار طراحی نشده‌اند، بنابراین هیچ کس آنها را نمی‌خواند، که یک تصمیم طراحی با یک برچسب قیمت است. 9:30، بازار باز می‌شود. هفت سرور کد جدید را اجرا می‌کنند. هشتمین سرور همان پرچم را می‌بیند و Power Peg را به جای آن اجرا می‌کند: کدی که Knight در سال 2003 بازنشسته کرد و هرگز حذف نکرد. سفارشات فرزندی را برای 212 سفارش مشتری ارسال می‌کند، و هرگز متوقف نمی‌شود.

1:13 چهار میلیون اجرا. 397 میلیون سهم. یک حساب نگهداری از حد دو میلیون دلاری خود فراتر می‌رود، که به هیچ چیز وصل نیست. مهندسان، در یک بازار زنده، کد جدید را از هفت سرور سالم حذف نصب می‌کنند، که Power Peg را در همه جا روشن می‌کند. حدود 10:15 متوقف می‌شود: سه و نیم میلیارد خرید، سه و پانزده صدم میلیارد فروش.

1:31 یک: شرط توقف Power Peg، شمارنده‌ای که می‌گوید سفارش والد تکمیل شده است، در سال 2005 جابجا شده و هرگز دوباره آزمایش نشده است، بنابراین کد بازنشسته شده برای همیشه حلقه می‌زند. دو: ویژگی جدید از پرچم قدیمی Power Peg دوباره استفاده می‌کند، بنابراین همان «بله» در دو سرور دو معنی دارد. سه: هیچ سوئیچ کشتاری وجود ندارد. هیچ چیز سفارشات خروجی را با سفارشات ورودی مقایسه نمی‌کند؛ هیچ چیز SMARS را متوقف نمی‌کند. مانیتور ریسک یک صفحه نمایش است که توسط انسان‌ها نظارت می‌شود؛ محدودیت‌ها را نشان نمی‌دهد. git blame: یک پرچم که به جای یک پرچم جدید دوباره استفاده شده است، کد مرده‌ای که برای نه

2:00 سال قابل فراخوانی است، و یک استقرار دستی بدون جفت دوم چشم. نه تکنسین. دستور SEC هرگز او را نام نمی‌برد، و من هم نام نخواهم برد. شعاع انفجار: 460 میلیون دلار، تقریباً ده میلیون در دقیقه. سهام 63 درصد کاهش به دو دلار و پنجاه و هشت سنت، 400 میلیون دلار نجات با یک دلار و پنجاه سنت در هر سهم، ادغام با Getco تا کریسمس. Hacker News، پنجشنبه: چگونه 45 دقیقه بدون دخالت انسان اجرا شد؟ اجرا نشد. انسان‌ها اوضاع را بدتر کردند.

2:25 حکم، کالبدشکافی: REVERT. Knight هرگز کالبدشکافی خود را نمی‌نویسد؛ رگولاتور این کار را می‌کند، چهارده ماه بعد، و ترمیم یک جریمه و یک ادغام است. دوشنبه: ویژگی جدید، پرچم جدید؛ کد مرده حذف می‌شود، نه غیرفعال؛ هر چیزی که سفارش ارسال می‌کند یک سوئیچ خاموش‌کننده می‌گیرد. حادثه‌ای را که هنوز اجازه ندارید درباره آن صحبت کنید، برای من ارسال کنید، در نظرات، یا در the daily diff dot dev. و این تفاوت امروز است.

2:48 من نیکو از Axrisi هستم. Merge responsibly.

منابع

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

ویدیوهای مرتبط

postmortem · fa · ۳ مهر ۱۴۰۵

یک باگ یک میلی‌ثانیه‌ای ترافیک هوایی بریتانیا را شش ساعت متوقف کرد.

در ساعت ۱۰:۰۰ روز سه‌شنبه، ۸ سپتامبر، یک درخواست معمول کد اسکواک در سیستم ملی حریم هوایی NATS (NAS) توسط یک پیام با اولویت بالاتر، در حین به‌روزرسانی مقداری از آن، قطع می‌شود. پنجره تماس حدود یک میلی‌

3:06 ↗
postmortem · fa · ۳۱ شهریور ۱۴۰۵

یک راه‌اندازی مجدد تلسترا را به سال 2006 بازگرداند. نه میلیون تلفن.

یک مهندس در ملبورن یک شاسی زمان‌سنجی را ساعت 2:50 صبح دوباره روشن می‌کند، و تا زمان صبحانه بزرگترین شبکه تلفن همراه استرالیا با این موضوع موافقت می‌کند که نوامبر 2006 است. 8 ژوئیه 2026: یک کارت GPS در

3:15 ↗