Facebook өөрийгөө интернэтээс устгасан нь. Зургаан цаг.

Энэ видео юуг хамардаг

• Facebook өөрийн хаягаа устгав
• Баримтууд: Meta Engineering, Cloudflare, Hacker News
• Энэ бол The Daily Diff, постмортем
• Цагийн хуваарь: 15:39 тушаал → 15:40 татсан → 21:20 буцаж ирсэн
• Механизм: таныг устгадаг эрүүл мэндийн шалгалт, 30× DNS шуурга, хаалганууд

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

Facebook өөрийн хаягаа устгав

0:00 Facebook өөрийн хаягаа интернэтээс устгасан бөгөөд инженерийн баг нь буцааж сэргээхээр ирэхэд, нэвтрэх үнэмлэх уншигч аппарат нь бас ажиллахгүй байв, учир нь тэд Facebook-ээр ажилладаг. Meta-гийн өөрийн постмортем, дараагийн өдөр: ердийн засвар үйлчилгээний тушаал нь бүх үндсэн холболтыг тасалсан бөгөөд ийм тушаалыг хаах зорилготой хэрэгсэлд алдаа гарсан.

Баримтууд: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, гаднаас: 15:40 UTC цагт Facebook-ийн нэрийн серверүүдийн маршрутууд алга болж, dig facebook.com нь дэлхийн хаана ч SERVFAIL буцааж байв. Энэ нь хэрхэн болсон, яагаад аюулгүй байдлын функц нь байдлыг улам дордуулсан, мөн хэн буруутайг. Энэ бол The Daily Diff, постмортем. Үдийн дараахан, UTC.

Энэ бол The Daily Diff, постмортем

0:34 Чөлөөт үндсэн хүчин чадлыг шалгах ёстой байсан тушаал нь оронд нь бүх холболтыг тасалсан Facebook-ийн мэдээллийн төвүүдийн хооронд, мөн үүнийг яг барихад зориулагдсан аудит хийх хэрэгсэл

Цагийн хуваарь: 15:39 тушаал → 15:40 татсан → 21:20 буцаж ирсэн

0:41 үүнийг дамжуулсан. 15:40. Cloudflare-ийн BGP тэжээл нь татгалзлаар дүүрч; Facebook-ийн DNS prefix-үүд маршрутын хүснэгтээс гарсан. Нэг минутын дотор Cloudflare-ийн инженерүүд нэг өрөөнд өөрсдөө 1.1.1.1-ийг эвдсэн эсэхээ гайхаж байв. 15:45, Hacker News, хорин зургаан зуу оноо. 16:07, Facebook-ийн хэвлэлийн төлөөлөгч, бүхнээс илүү Twitter дээр: зарим хүмүүс манай апп-уудад хандахад асуудалтай байна. Зарим хүмүүс гэдэг нь гурван тэрбум хагас.

1:06 18:51, The New York Times: ажилтнууд барилгуудаасаа гарах боломжгүй болсон, нэвтрэх үнэмлэхүүд ажиллахгүй болсон. 19:52, CTO уучлалт гуйсан. 21:00, таван цагийн дараа, маршрутууд буцаж ирсэн; 21:20, facebook.com шийдвэрлэгдсэн. Яагаад үндсэн сүлжээний алдаа нь Facebook-ийг интернэтээс устгасан бэ?

Механизм: таныг устгадаг эрүүл мэндийн шалгалт, 30× DNS шуурга, хаалганууд

1:20 Түүний нэрийн серверүүд дүрэмтэй: мэдээллийн төвүүдэд хүрч чадахгүй бол, өөрийгөө эрүүл бус гэж зарла, хаягаа сурталчлахаа зогсоо. Нэг сайт муудах үед энэ нь утга учиртай. Бүх үндсэн сүлжээ алдаа гаргахад, бүх нэрийн серверүүд үүнийг нэгэн зэрэг хийдэг. Серверүүд ажиллаж байна. Хэн ч тэднийг олж чадахгүй. Аюулгүй байдлын функц нь сүлжээний алдааг оршин тогтнолын алдаа болгон хувиргадаг. Дараа нь интернэт хуримтлагдана: апп-ууд дахин оролдоно, хэрэглэгчид дахин ачаална,

1:39 мөн Cloudflare-ийн шийдвэрлэгч нь ердийн ачааллаасаа гуч дахин их ачааллыг хардаг, байхгүй байгаа сайт дээр. Мөн хаалганууд. Хэрэгслүүд, гаднаас хандах боломж, үнэмлэх: нэг сүлжээ. Инженерүүд мэдээллийн төвүүд рүү машинтай явсан ч орж чадаагүй, дараа нь физик хандалттай хэн бүхний эсрэг бэхэлсэн rack-уудтай таарсан. Физик хандалттай хэн бүхний эсрэг бэхэлсэн rack-уудтай таарсан. Дайрагчийг удаашруулах зорилготой байсан нь эзэмшигчийг ч удаашруулсан. Үндсэн сүлжээ буцаж ирсэн; тэд зориудаар траффикийг аажмаар нэмэгдүүлсэн.

1:59 Мэдээллийн төв бүр хэдэн арван мегаватт унагасан бөгөөд үүнийг нэг алхамаар буцаах нь хоёр дахь тасалдал болно.

git blame — хуваагдал

2:05 git blame. Facebook, тавин таван хувь: тушаалыг шалгасан, аудитор алдаатай байсан, нэг тушаал бүх чиглүүлэгчид хүрсэн. DNS-ийн загвар, хорин таван: харьцааны мэдрэмжгүй эрүүл мэндийн шалгалт. Нэг сүлжээ, арван тав: хэрэгслүүд, гаднаас хандах, үнэмлэх. Rack-ууд, тав, ажлаа хийснийхээ төлөө. Нөлөөллийн хүрээ: гурван тэрбум хагас хэрэглэгч, бараг зургаан цаг. Хувьцаа таван хувиар унаж, Цукербергээс зургаан тэрбум хасагдсан,

Нөлөөллийн хүрээ

2:27 цаасан дээр. Telegram тэр өдөр далан сая бүртгүүлсэн гэж мэдэгдсэн. Дүгнэлт, постмортем: NEEDS REVIEW. Тэр оройн мэдэгдэл, нэг өдрийн дотор нэрлэгдсэн зохиогчийн постмортем, аудит-хэрэгслийн алдааг ойлгомжтойгоор хүлээн зөвшөөрсөн.

Дүгнэлт + Даваа гарагийн шугам

2:38 Засварын жагсаалт: туршилт, дасгал сургуулилтыг бэхжүүлэх. Үйлдвэрлэлийн сүлжээнээс хаалгыг салгах тухай юу ч байхгүй. Даваа гараг: гаднаас хандах боломжоо, мөн хаалгаа, өөрийн ажиллуулдаггүй сүлжээнд байрлуул. ажиллуулдаггүй сүлжээнд байрлуул. Таныг ярихыг зөвшөөрөөгүй байгаа үйл явдлыг надад илгээнэ үү, коммент хэсэгт, эсвэл daily diff dot dev хаягаар. Тэгээд өнөөдрийн ялгаа энэ байна. Би Axrisi-ийн Нико байна.

2:58 Хариуцлагатайгаар нэгтгэ.

Эх сурвалжууд

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com