פייסבוק מחקה את עצמה מהאינטרנט. שש שעות.
פייסבוק מסירה את הכתובת שלה מהאינטרנט, וכשמהנדסיה מגיעים להחזיר אותה, קוראי התגים מושבתים אף הם, מכיוון שהם פועלים על פייסבוק.
פייסבוק מסירה את הכתובת שלה מהאינטרנט, וכשמהנדסיה מגיעים להחזיר אותה, קוראי התגים מושבתים אף הם, מכיוון שהם פועלים על פייסבוק. 4 באוקטובר 2021, 15:40 UTC: פקודת תחזוקה שגרתית של עמוד השדרה מורידה כל קישור בין מרכזי הנתונים של פייסבוק; כלי הביקורת שנבנה כדי לחסום אותה מכיל באג; שרתי השמות של פייסבוק, שאינם יכולים להגיע למרכזי הנתונים, מושכים את נתיבי ה-BGP שלהם כחלק מהתכנון – ו-facebook.com, אינסטגרם, וואטסאפ ומסנג'ר נעלמים מה-DNS למשך כמעט שש שעות. כלים פנימיים, גישה מחוץ לתחום ותגי המשרד פועלים באותה רשת, כך שהתיקון דורש אנשים ליד המתקנים.
קראו את המהדורה הכתובה (אנגלית) ↗
מה מכסה הסרטון הזה
- פייסבוק מסירה את הכתובת שלה
- הקבלה: Meta Engineering, Cloudflare, Hacker News
- זהו The Daily Diff, ניתוח אירוע
- ציר זמן: פקודה ב-15:39 ← נסיגה ב-15:40 ← חזרה ב-21:20
- מנגנון: בדיקת התקינות שמוחקת אותך, סערת ה-DNS פי 30, הדלתות
שאלות ותשובות
מה גרם להשבתת פייסבוק, אינסטגרם ווואטסאפ באוקטובר 2021?
פקודת תחזוקה שגרתית של עמוד השדרה הורידה כל קישור בין מרכזי הנתונים של פייסבוק, ולכלי הביקורת שנועד לחסום פקודות כאלה הייתה תקלה. לפי התיאור ההנדסי של מטא, זה ניתק את מרכזי הנתונים זה מזה. עד השעה 15:40 UTC, Cloudflare ראתה כי נתיבים לשרתי השמות של פייסבוק נסוגו, ו-facebook.com החזיר SERVFAIL עד שהתיישב שוב ב-21:20.
מדוע שרתי ה-DNS של פייסבוק הסירו את עצמם מהאינטרנט?
שרתי השמות תוכננו לסגת מנתיבי BGP שלהם כאשר הם לא יכלו להגיע למרכזי הנתונים. כלל זה הגיוני כאשר אתר אחד נכשל. כאשר כל עמוד השדרה נכשל, כל שרת שמות הכריז על עצמו כלא תקין בבת אחת והפסיק לפרסם את כתובתו. השרתים עדיין פעלו, אך איש לא יכול היה למצוא אותם.
מדוע מהנדסי פייסבוק לא יכלו לתקן את ההשבתה מרחוק?
כלים פנימיים, גישה מחוץ לתחום וקוראי תגי המשרד פעלו כולם באותה רשת שנכשלה. מהנדסים נאלצו ללכת למרכזי הנתונים, שם המתקנים היו מוגנים מפני כל מי שיש לו גישה פיזית. הניו יורק טיימס דיווח על עובדים שננעלו מחוץ לבניינים עם תגים מתים בשעה 18:51 UTC.
כיצד השפיעה השבתת פייסבוק על שאר האינטרנט?
אפליקציות ניסו שוב ומשתמשים טענו מחדש, ולכן המתרגם של Cloudflare ראה פי שלושים מהעומס הרגיל לאתר שלא היה נגיש. האירוע מציב את רדיוס הפיצוץ על שלושה וחצי מיליארד משתמשים למשך כמעט שש שעות. הוא גם מדווח כי טלגרם טען לשבעים מיליון הרשמות באותו יום.
האם בדיקת הפוסטמורטם של פייסבוק תיקנה את בעיות השורש מאחורי ההשבתה?
פסק הדין של The Daily Diff היה NEEDS REVIEW. פייסבוק פרסמה הצהרה באותו ערב, פרסמה פוסטמורטם עם שם מחבר תוך יום והודתה בבאג של כלי הביקורת באנגלית פשוטה. רשימת התיקונים שלה התמקדה בבדיקות ותרגילים חזקים יותר ולא אמרה דבר על הסרת הדלתות מרשת הייצור. האירוע ממליץ להכניס גישה מחוץ לתחום לרשת שאינך מפעיל.
תמליל מתורגם
תורגם מהקריינות המקורית באנגלית. זמינות אודיו וכתוביות נשלטת על ידי YouTube.
פייסבוק מסירה את הכתובת שלה
0:00 פייסבוק מסירה את הכתובת שלה מהאינטרנט, וכשמהנדסיה מגיעים להחזיר אותה, קוראי התגים מושבתים אף הם, מכיוון שהם פועלים על פייסבוק. ניתוח האירוע של מטא עצמה, למחרת: פקודת תחזוקה שגרתית מורידה כל קישור בעמוד השדרה, ולכלי שנבנה לחסום פקודות כאלה יש באג.
הקבלה: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, מבחוץ: ב-15:40 UTC הנתיבים לשרתי השמות של פייסבוק נעלמים, ו-dig facebook.com מחזיר SERVFAIL בכל מקום על פני כדור הארץ. איך זה קורה, מדוע תכונת בטיחות מחמירה את המצב, ומי אשם. זהו The Daily Diff, ניתוח אירוע. מוקדם אחר הצהריים, UTC.
זהו The Daily Diff, ניתוח אירוע
0:34 פקודה שנועדה לבדוק קיבולת פנויה בעמוד השדרה, במקום זאת, מורידה כל קישור בין מרכזי הנתונים של פייסבוק, וכלי הביקורת שנבנה כדי לתפוס בדיוק את זה
ציר זמן: פקודה ב-15:39 ← נסיגה ב-15:40 ← חזרה ב-21:20
0:41 מעביר אותה. 15:40. פיד ה-BGP של Cloudflare מתמלא בנסיגות; קידומות ה-DNS של פייסבוק עוזבות את טבלת הניתוב. בתוך דקה מהנדסי Cloudflare נמצאים בחדר ותוהים אם הם שברו את 1.1.1.1. 15:45, Hacker News, אלפיים ושש מאות נקודות. 16:07, דובר פייסבוק, בטוויטר מכל המקומות: חלק מהאנשים מתקשים לגשת ליישומים שלנו. חלק מהאנשים הם שלושה וחצי מיליארד.
1:06 18:51, הניו יורק טיימס: עובדים נעולים מחוץ לבנייניהם, תגים מתים. 19:52, ה-CTO מתנצל. 21:00, חמש שעות פנימה, נתיבים חוזרים; 21:20, facebook.com נפתר. מדוע תקלה בעמוד השדרה מוחקת את פייסבוק מהאינטרנט?
מנגנון: בדיקת התקינות שמוחקת אותך, סערת ה-DNS פי 30, הדלתות
1:20 לשרתי השמות שלה יש כלל: לא יכולים להגיע למרכזי הנתונים, הצהירו על עצמכם כלא תקינים, הפסיקו לפרסם את כתובתכם. הגיוני כשאתר אחד משתבש. כאשר כל עמוד השדרה קורס, כל שרת שמות עושה זאת בבת אחת. השרתים פועלים. אף אחד לא יכול למצוא אותם. תכונת בטיחות הופכת תקלת רשת לתקלת קיום. ואז האינטרנט מצטרף: אפליקציות מנסות שוב, משתמשים מרעננים,
1:39 והפתרון של Cloudflare רואה פי שלושים מהעומס הרגיל שלו, לאתר שאינו קיים. והדלתות. כלים, גישה מחוץ לתחום, תגים: אותה רשת. מהנדסים נוהגים למרכזי הנתונים, לא יכולים להיכנס, ואז פוגשים מתקנים מחוזקים נגד כל מי שיש לו גישה פיזית. נבנה כדי להאט תוקף, הוא מאט גם את הבעלים. עמוד השדרה חוזר; הם מגבירים את התעבורה לאט, בכוונה.
1:59 כל מרכז נתונים הפיל עשרות מגה-וואט, והיפוך זה בצעד אחד הוא הפסקה שנייה.
git blame — הפיצול
2:05 git blame. פייסבוק, חמישים וחמישה אחוזים: הפקודה עברה ביקורת, למבקר היה הבאג, פקודה אחת הגיעה לכל נתב. עיצוב ה-DNS, עשרים וחמישה: בדיקת תקינות ללא חוש מידה. רשת אחת, חמישה עשר: כלים, מחוץ לתחום, תגים. המתקנים, חמישה, על ביצוע עבודתם. רדיוס הפיצוץ: שלושה וחצי מיליארד משתמשים, כמעט שש שעות. המניה נסגרת בירידה של חמישה אחוזים, שישה מיליארד פחות לזאקרברג,
רדיוס הפיצוץ
2:27 על הנייר. טלגרם טוענת לשבעים מיליון הרשמות באותו יום. פסק דין, ניתוח אירוע: NEEDS REVIEW. הצהרה באותו ערב, ניתוח אירוע עם שם מחבר תוך יום, באג בכלי הביקורת הודה באנגלית פשוטה.
פסק דין + קו יום שני
2:38 רשימת התיקונים: חיזוק בדיקות ותרגילים. שום דבר לגבי הסרת הדלתות מרשת הייצור. יום שני: שים את הגישה שלך מחוץ לתחום, ואת הדלת שלך, על רשת שאתה לא מפעיל. שלח לי את האירוע שאתה עדיין לא מורשה לדבר עליו, בתגובות, או ב-the daily diff dot dev. וזה ה-diff להיום. אני ניקו מ-Axrisi.
2:58 Merge responsibly.
מקורות
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



