מהנדס מחק את מסד הנתונים של GitLab בפרודקשן. 300 גיגה-בייט.
31 בינואר 2017, 23:27 UTC: מהנדס של GitLab, שנאבק בשכפול שבור בסוף לילה ארוך, הסיר את ספריית הנתונים של PostgreSQL ב-db1 במקום ב-db2.
31 בינואר 2017, 23:27 UTC: מהנדס של GitLab, שנאבק בשכפול שבור בסוף לילה ארוך, הסיר את ספריית הנתונים של PostgreSQL ב-db1 במקום ב-db2. db1 הוא הראשי. כ-300 GB ממסד הנתונים של GitLab.com נעלמו תוך שנייה או שתיים, ומתוך חמשת מנגנוני הגיבוי והשכפול, אף אחד לא עבד. לאחר מעשה: ציר הזמן מזינוק הספאם לשם המארח השגוי, מדוע pg_basebackup נראה תקוע, מדוע pg_dump נכשל בשקט (בינארי 9.2 על מסד נתונים 9.6, הודעות דוא"ל של כשל קפצו על ידי DMARC), השחזור של 18 שעות מצילום מצב ביניים בן 6 שעות ששודר בשידור חי ביוטיוב, ומי באמת אשם. פסק דין על התגובה: SHIP IT.
קראו את המהדורה הכתובה (אנגלית) ↗
מה מכסה הסרטון הזה
- 31 בינואר 2017: rm -Rvf על ספריית הנתונים של הראשי; הוסרו כ-300 GB, נותרו 4.5 GB.
- 5 מתוך 5 גיבויים נכשלים: דלי S3 ריק (אי התאמה בגרסת pg_dump), אין צילומי מצב של Azure על מסד הנתונים, שכפול נמחק, עותק LVM יומי ללא Webhooks.
- 1 בפברואר, 18:00 UTC: GitLab.com חוזר מצילום מצב ידני בן 6 שעות; מסמך חי, שידור חי, ניתוח לאחר מעשה ללא אשמה עם רשימת תיקונים.
שאלות ותשובות
מה קרה במחיקת מסד הנתונים של GitLab.com בפרודקשן ב-2017?
מאוחר ב-31 בינואר 2017, מהנדס של GitLab שניסה לתקן שכפול שבור הסיר את ספריית הנתונים של PostgreSQL ב-db1 במקום ב-db2. db1 היה הראשי. מתוך כ-300 GB, נותרו 4.5 GB. GitLab צייצה שהיא מחקה בטעות נתוני פרודקשן, פתחה את הערות האירוע שלה לציבור ושדרה את השחזור ביוטיוב.
מדוע אף אחד מחמשת מנגנוני הגיבוי והשכפול של GitLab לא עבד כשנזקקו להם?
על פי הניתוח לאחר מעשה של GitLab, ה-pg_dump היומי ל-S3 נכשל מכיוון שעבודת ה-cron בחרה בינארי PostgreSQL 9.2 למסד נתונים 9.6, והודעות הדוא"ל של הכשל חזרו בגלל DMARC חסר. צילומי מצב של Azure כיסו שרתי קבצים אך לא מסדי נתונים. השכפול נמחק בכוונה, ולצילום המצב היומי הוסרו ה-webhooks. רק צילום מצב ידני, שנלקח לבדיקה בלתי קשורה, שרד.
מדוע שחזור GitLab.com ארך כשמונה עשרה שעות?
שחזור פירושו העתקת דיסק הסטייג'ינג חזרה לפרודקשן דרך אחסון ה-Azure הזול בשישים מגה-ביט לשנייה, מה שלקח שמונה עשרה שעות. GitLab.com חזר ב-1 בפברואר בשעה 18:00 UTC, תוך שימוש בצילום מצב ידני בן שש שעות. ההשבתה עלתה בשש שעות של נתונים, בערך חמשת אלפים פרויקטים, חמשת אלפים הערות ושבע מאות משתמשים חדשים, על פי הפרק.
מדוע ניתוחים לאחר מעשה ללא אשמה מתמקדים בתהליך ולא במהנדס שהפעיל את הפקודה?
הניתוח לאחר מעשה של GitLab, חתום על ידי המנכ"ל, שמר על אלמוניות המהנדס וייחס את הכשל לשני שמות מארח שונים בתו אחד ולחמש מערכות גיבוי שאף אחד לא שחזר מהן. הוא צבע את הפרומפט של הפרודקשן באדום ונתן עוגן עמידות נתונים, כי לא היה לו כזה קודם לכן. רשימת התיקונים פורסמה עם מספרי תקלות.
מה צוותים צריכים ללמוד מאירוע מסד הנתונים של GitLab, והאם התגובה של GitLab הייתה נכונה?
פסק הדין של ה-Daily Diff היה SHIP IT, על התגובה. GitLab ניהלה את האירוע בציבור, האשימה את התהליך ופרסמה רשימת תיקונים עם מספרי תקלות. פעולת יום שני של הפרק היא שחזור גיבוי, מכיוון שגיבוי שמעולם לא שוחזר אינו יכול להיחשב כגיבוי. Hacker News נתן למסמך האירוע החי 1,162 נקודות.
תמליל מתורגם
תורגם מהקריינות המקורית באנגלית. זמינות אודיו וכתוביות נשלטת על ידי YouTube.
0:00 מהנדס ב-GitLab מפעיל rm -rf על שרת מסד הנתונים הלא נכון, ושלוש מאות גיגה-בייט של GitLab דוט קום נעלמים תוך שנייה או שתיים, בערך כמה זמן לוקח לקרוא שם מארח. 31 בינואר 2017, 23:27 UTC. GitLab מצייצת כי מחקה בטעות נתוני פרודקשן, פותחת את הערות האירוע שלה לאינטרנט, ומשדרת את השחזור ביוטיוב, השידור החי מספר שתיים בפלטפורמה. למחרת, בכתב: מתוך חמש טכניקות גיבוי,
0:25 אף אחת לא עובדת באופן אמין. איך זה קורה, למה זה אפשרי, ומי באמת מקבל את האשמה. זהו ה-Daily Diff, ניתוח לאחר מעשה. 17:20: מהנדס מצלם את הפרודקשן כדי לבדוק מאזן עומסים בסטייג'ינג. 19:00: ספאם מכה במסד הנתונים, בתוספת משימה מוחקת לחלוטין עובד GitLab א טירלול דיווח על שימוש לרעה. 23:00: השכפול מפגר כל כך עד שהראשי כבר זרק
0:48 את הלוג שהוא צריך; התיקון היחיד הוא למחוק את השכפול ולהעתיק את הראשי שוב. pg_basebackup נתקע ללא פלט. הוא למעשה ממתין, בשקט, לראשי; אף אחד לא יודע זאת, והספר הוראות לא מציין זאת. המהנדס, שהתכוון לסיים בשעה אחת עשרה, מחליט שספריית הנתונים הריקה היא הבעיה ומסיר אותה. על db1. הראשי. הוא שם לב שנייה או שתיים לאחר מכן; מתוך בערך שלוש מאות גיגה-בייט,
1:11 4.5 נותרו. הגיבויים. אחד: pg_dump ל-S3, יומי. הדלי ריק. עבודת ה-cron פועלת על שרת יישומים ללא מסד נתונים, ולכן החבילה בוחרת בינארי PostgreSQL 9.2 למסד נתונים 9.6, נכשלת, ושולחת דוא"ל על הכשל, שחוזר בגלל DMARC חסר. שניים: צילומי מצב של דיסקים ב-Azure, מופעלים עבור שרתי הקבצים, לא מסדי הנתונים.
1:32 שלוש: השכפול, נמחק בכוונה לפני שעה. ארבע: צילום המצב היומי, בן 24 שעות, כל webhook הוסר על ידי סנכרון הסטייג'ינג. חמש: צילום המצב הידני מ-5:20, לבדיקה בלתי קשורה. זה מנצח. שחזור פירושו העתקת דיסק הסטייג'ינג חזרה לפרודקשן דרך אחסון ה-Azure הזול בשישים מגה-ביט לשנייה: שמונה עשרה שעות. GitLab דוט קום חוזר ב-1 בפברואר בשש בערב UTC, נתונים ישנים בשש שעות.
1:58 git blame: שני שמות מארח שונים בתו אחד, וחמש מערכות גיבוי שאף אחד לא שחזר מהן מעולם. לא המהנדס. הניתוח לאחר מעשה, חתום על ידי המנכ"ל, שומר על אלמוניותו, צובע את הפרומפט של הפרודקשן באדום, ונותן עוגן עמידות נתונים, כי עד עכשיו לא היה לו כזה. רדיוס פיצוץ: שמונה עשרה שעות השבתה, שש שעות של נתונים נעלמו, בערך חמשת אלפים פרויקטים, חמשת אלפים הערות,
2:18 שבע מאות משתמשים חדשים, וחמשת אלפים איש צופים בסרגל התקדמות. Hacker News נותן למסמך החי 1,162 נקודות ומצטט שורה אחת חזרה אליהם: מתוך חמישה גיבויים, אף אחד. פסק דין, ניתוח לאחר מעשה: ship it, על התגובה. הם מנהלים את האירוע בציבור, מאשימים את התהליך, ומפרסמים את רשימת התיקונים עם מספרי תקלות. פעולת יום שני: שחזר גיבוי. אם מעולם לא שחזרת אותו, אין לך כזה.
2:42 שלח לי את האירוע שעדיין אסור לך לדבר עליו, בתגובות, או ב-the daily diff dot dev. וזה ה-diff להיום. אני ניקו מ-Axrisi. מזג באחריות.
מקורות
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



