+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook өөрийгөө интернэтээс устгасан нь. Зургаан цаг.

Facebook өөрийн хаягаа интернэтээс устгасан бөгөөд инженерийн баг нь буцааж сэргээхээр ирэхэд, нэвтрэх үнэмлэх уншигч аппарат нь Facebook-ээр ажилладаг тул ажиллахгүй байв.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook өөрийн хаягаа интернэтээс устгасан бөгөөд инженерийн баг нь буцааж сэргээхээр ирэхэд, нэвтрэх үнэмлэх уншигч аппарат нь Facebook-ээр ажилладаг тул ажиллахгүй байв. 2021 оны 10-р сарын 4-ний өдрийн 15:40 UTC цагт: тогтмол арчилгааны тушаал нь Facebook-ийн мэдээллийн төвүүдийн хоорондох бүх холболтыг тасалжээ; үүнийг хаах зорилготой аудит хийх хэрэгсэлд алдаа гарсан; Facebook-ийн нэрийн серверүүд мэдээллийн төвүүдтэй холбогдож чадаагүй тул өөрсдийн BGP маршрутыг зориудаар татсан — ингэснээр facebook.com, Instagram, WhatsApp болон Messenger бараг зургаан цагийн турш DNS-ээс алга болжээ. Дотоод хэрэгслүүд, гаднаас хандах боломж болон оффисын нэвтрэх үнэмлэх нь нэг сүлжээгээр ажилладаг тул засвар хийхийн тулд хүмүүс rack-ууд дээр байх шаардлагатай болсон.

Бичмэл хувилбарыг унших (Англи) ↗

Энэ видео юуг хамардаг

  • Facebook өөрийн хаягаа устгав
  • Баримтууд: Meta Engineering, Cloudflare, Hacker News
  • Энэ бол The Daily Diff, постмортем
  • Цагийн хуваарь: 15:39 тушаал → 15:40 татсан → 21:20 буцаж ирсэн
  • Механизм: таныг устгадаг эрүүл мэндийн шалгалт, 30× DNS шуурга, хаалганууд

Түгээмэл асуултууд

2021 оны 10-р сард болсон Facebook, Instagram болон WhatsApp-ын тасалдлын шалтгагаан юу байсан бэ?

Сүлжээний дэд бүтцийн хэвийн засвар үйлчилгээний тушаал нь Facebook-ийн өгөгдлийн төвүүдийн хоорондох бүх холбоосыг тасалсан бөгөөд ийм тушаалыг блоклох зориулалттай хяналтын хэрэгсэлд алдаа гарсан байна. Meta-гийн инженерийн тайланд дурдсанаар энэ нь өгөгдлийн төвүүдийг хоорондоо холбоогүй болгосон. UTC-ийн 15:40 цагт Cloudflare нь Facebook-ийн нэрлэсэн серверүүдийн маршрутыг татан авснаар facebook.com нь 21:20 цагт дахин шийдэгдэх хүртэл SERVFAIL-ийг буцаасан.

Энэ хэсгийг үзэх 0:40 · engineering.fb.com · blog.cloudflare.com

Facebook-ийн DNS серверүүд яагаад өөрсдийгөө интернетээс устгасан бэ?

Нэрлэсэн серверүүд нь өгөгдлийн төвүүдэд хүрч чадахгүй бол өөрсдийн BGP маршрутыг татан авах зорилготой байсан. Энэ дүрэм нь нэг сайт ажиллахгүй болоход зөв юм. Бүх дэд бүтэц ажиллахгүй болоход бүх нэрлэсэн серверүүд нэгэн зэрэг өөрсдийгөө эрүүл бус гэж зарлаж, хаягаа зарлахаа зогсоосон. Серверүүд ажиллаж байсан ч хэн ч тэднийг олж чадаагүй.

Энэ хэсгийг үзэх 1:20 · engineering.fb.com · blog.cloudflare.com

Facebook-ийн инженерүүд яагаад алсаас тасалдлыг засах боломжгүй байсан бэ?

Дотоод хэрэгслүүд, гаднаас нэвтрэх боломж болон оффисын нэвтрэх үнэмлэхийн уншигчид бүгд ажиллахгүй болсон нэг сүлжээнд ажиллаж байсан. Инженерүүд өгөгдлийн төвүүд рүү очих шаардлагатай болсон бөгөөд тэнд физик нэвтрэх боломжтой хүн бүрээс хамгаалагдсан байсан. The New York Times сонин UTC-ийн 18:51 цагт ажилчид ажиллахгүй болсон үнэмлэхтэйгээр барилгуудаас түгжигдсэн тухай мэдээлсэн.

Энэ хэсгийг үзэх 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Facebook-ийн тасалддал интернетийн бусад хэсэгт хэрхэн нөлөөлсөн бэ?

Аппликейшнууд дахин оролдож, хэрэглэгчид дахин ачаалсан тул Cloudflare-ийн шийдвэрлэгч нь хүрч болохгүй сайтыг хэвийн ачааллаас гучин дахин их ачааллыг харсан. Энэ үйл явдал нь бараг зургаан цагийн турш гурван тэрбум хагас хэрэглэгчдэд нөлөөлсөн. Мөн Telegram тухайн өдөр далан сая хүн бүртгүүлсэн гэж мэдээлсэн.

Энэ хэсгийг үзэх 2:25 · blog.cloudflare.com · www.reuters.com

Facebook-ийн "postmortem" нь тасалдлын үндсэн асуудлуудыг зассан уу?

The Daily Diff-ийн дүгнэлт нь NEEDS REVIEW байсан. Facebook тэр оройдоо мэдэгдэл гаргаж, нэг өдрийн дотор нэр дурдсан зохиогчийн "postmortem"-ийг нийтэлж, хяналтын хэрэгслийн алдааг энгийн хэлээр хүлээн зөвшөөрсөн. Түүний засварын жагсаалт нь илүү хүчтэй туршилт, дасгалд анхаарлаа хандуулж, үйлдвэрлэлийн сүлжээнээс хаалгыг авах тухай юу ч хэлээгүй. Энэ үйл явдал нь гаднаас нэвтрэх боломжийг өөрийн ажиллуулдаггүй сүлжээнд байрлуулахыг зөвлөж байна.

Энэ хэсгийг үзэх 2:38 · engineering.fb.com · engineering.fb.com

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

Facebook өөрийн хаягаа устгав

0:00 Facebook өөрийн хаягаа интернэтээс устгасан бөгөөд инженерийн баг нь буцааж сэргээхээр ирэхэд, нэвтрэх үнэмлэх уншигч аппарат нь бас ажиллахгүй байв, учир нь тэд Facebook-ээр ажилладаг. Meta-гийн өөрийн постмортем, дараагийн өдөр: ердийн засвар үйлчилгээний тушаал нь бүх үндсэн холболтыг тасалсан бөгөөд ийм тушаалыг хаах зорилготой хэрэгсэлд алдаа гарсан.

Баримтууд: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, гаднаас: 15:40 UTC цагт Facebook-ийн нэрийн серверүүдийн маршрутууд алга болж, dig facebook.com нь дэлхийн хаана ч SERVFAIL буцааж байв. Энэ нь хэрхэн болсон, яагаад аюулгүй байдлын функц нь байдлыг улам дордуулсан, мөн хэн буруутайг. Энэ бол The Daily Diff, постмортем. Үдийн дараахан, UTC.

Энэ бол The Daily Diff, постмортем

0:34 Чөлөөт үндсэн хүчин чадлыг шалгах ёстой байсан тушаал нь оронд нь бүх холболтыг тасалсан Facebook-ийн мэдээллийн төвүүдийн хооронд, мөн үүнийг яг барихад зориулагдсан аудит хийх хэрэгсэл

Цагийн хуваарь: 15:39 тушаал → 15:40 татсан → 21:20 буцаж ирсэн

0:41 үүнийг дамжуулсан. 15:40. Cloudflare-ийн BGP тэжээл нь татгалзлаар дүүрч; Facebook-ийн DNS prefix-үүд маршрутын хүснэгтээс гарсан. Нэг минутын дотор Cloudflare-ийн инженерүүд нэг өрөөнд өөрсдөө 1.1.1.1-ийг эвдсэн эсэхээ гайхаж байв. 15:45, Hacker News, хорин зургаан зуу оноо. 16:07, Facebook-ийн хэвлэлийн төлөөлөгч, бүхнээс илүү Twitter дээр: зарим хүмүүс манай апп-уудад хандахад асуудалтай байна. Зарим хүмүүс гэдэг нь гурван тэрбум хагас.

1:06 18:51, The New York Times: ажилтнууд барилгуудаасаа гарах боломжгүй болсон, нэвтрэх үнэмлэхүүд ажиллахгүй болсон. 19:52, CTO уучлалт гуйсан. 21:00, таван цагийн дараа, маршрутууд буцаж ирсэн; 21:20, facebook.com шийдвэрлэгдсэн. Яагаад үндсэн сүлжээний алдаа нь Facebook-ийг интернэтээс устгасан бэ?

Механизм: таныг устгадаг эрүүл мэндийн шалгалт, 30× DNS шуурга, хаалганууд

1:20 Түүний нэрийн серверүүд дүрэмтэй: мэдээллийн төвүүдэд хүрч чадахгүй бол, өөрийгөө эрүүл бус гэж зарла, хаягаа сурталчлахаа зогсоо. Нэг сайт муудах үед энэ нь утга учиртай. Бүх үндсэн сүлжээ алдаа гаргахад, бүх нэрийн серверүүд үүнийг нэгэн зэрэг хийдэг. Серверүүд ажиллаж байна. Хэн ч тэднийг олж чадахгүй. Аюулгүй байдлын функц нь сүлжээний алдааг оршин тогтнолын алдаа болгон хувиргадаг. Дараа нь интернэт хуримтлагдана: апп-ууд дахин оролдоно, хэрэглэгчид дахин ачаална,

1:39 мөн Cloudflare-ийн шийдвэрлэгч нь ердийн ачааллаасаа гуч дахин их ачааллыг хардаг, байхгүй байгаа сайт дээр. Мөн хаалганууд. Хэрэгслүүд, гаднаас хандах боломж, үнэмлэх: нэг сүлжээ. Инженерүүд мэдээллийн төвүүд рүү машинтай явсан ч орж чадаагүй, дараа нь физик хандалттай хэн бүхний эсрэг бэхэлсэн rack-уудтай таарсан. Физик хандалттай хэн бүхний эсрэг бэхэлсэн rack-уудтай таарсан. Дайрагчийг удаашруулах зорилготой байсан нь эзэмшигчийг ч удаашруулсан. Үндсэн сүлжээ буцаж ирсэн; тэд зориудаар траффикийг аажмаар нэмэгдүүлсэн.

1:59 Мэдээллийн төв бүр хэдэн арван мегаватт унагасан бөгөөд үүнийг нэг алхамаар буцаах нь хоёр дахь тасалдал болно.

git blame — хуваагдал

2:05 git blame. Facebook, тавин таван хувь: тушаалыг шалгасан, аудитор алдаатай байсан, нэг тушаал бүх чиглүүлэгчид хүрсэн. DNS-ийн загвар, хорин таван: харьцааны мэдрэмжгүй эрүүл мэндийн шалгалт. Нэг сүлжээ, арван тав: хэрэгслүүд, гаднаас хандах, үнэмлэх. Rack-ууд, тав, ажлаа хийснийхээ төлөө. Нөлөөллийн хүрээ: гурван тэрбум хагас хэрэглэгч, бараг зургаан цаг. Хувьцаа таван хувиар унаж, Цукербергээс зургаан тэрбум хасагдсан,

Нөлөөллийн хүрээ

2:27 цаасан дээр. Telegram тэр өдөр далан сая бүртгүүлсэн гэж мэдэгдсэн. Дүгнэлт, постмортем: NEEDS REVIEW. Тэр оройн мэдэгдэл, нэг өдрийн дотор нэрлэгдсэн зохиогчийн постмортем, аудит-хэрэгслийн алдааг ойлгомжтойгоор хүлээн зөвшөөрсөн.

Дүгнэлт + Даваа гарагийн шугам

2:38 Засварын жагсаалт: туршилт, дасгал сургуулилтыг бэхжүүлэх. Үйлдвэрлэлийн сүлжээнээс хаалгыг салгах тухай юу ч байхгүй. Даваа гараг: гаднаас хандах боломжоо, мөн хаалгаа, өөрийн ажиллуулдаггүй сүлжээнд байрлуул. ажиллуулдаггүй сүлжээнд байрлуул. Таныг ярихыг зөвшөөрөөгүй байгаа үйл явдлыг надад илгээнэ үү, коммент хэсэгт, эсвэл daily diff dot dev хаягаар. Тэгээд өнөөдрийн ялгаа энэ байна. Би Axrisi-ийн Нико байна.

2:58 Хариуцлагатайгаар нэгтгэ.

Эх сурвалжууд

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Холбогдох видеонууд

postmortem · mn · 2026 оны 9-р сарын 25

Нэг миллисекундын алдаанаас болж Их Британийн агаарын хөдөлгөөн зогссон. Зургаан цагийн турш.

9-р сарын 8-ны Мягмар гарагийн 10:00 цагт NATS-ын Үндэсний Агаарын Орон Зайн Систем (NAS)-ийн доторх ердийн squawk-кодын нэг хүсэлтийг утгыг шинэчилж байх үед илүү өндөр ач холбогдолтой мессеж тасалду

3:06 ↗
postmortem · mn · 2026 оны 9-р сарын 22

Дахин ачаалах үйлдэл Telstra-г 2006 он руу буцаажээ. Есөн сая утас.

Мельбурны нэг инженер өглөөний 2:50 цагт цаг хэмжигч төхөөрөмжийг асаахад өглөөний цайны үеэр Австралийн хамгийн том үүрэн холбооны сүлжээ 2006 оны арваннэгдүгээр сар болсон гэдэгт санал нийлжээ. 2026

3:15 ↗