එන්ජින් ඉංජිනේරුවෙකු GitLab හි නිෂ්පාදන දත්ත සමුදාය මකා දැමීය. ගිගාබයිට් 300ක්.
2017 ජනවාරි 31, 23:27 UTC: GitLab ඉංජිනේරුවෙක්, දිගු රාත්රියක අවසානයේදී කැඩී ගිය අනුරුවක් සමඟ පොරබදමින්, db2 වෙනුවට db1 හි PostgreSQL දත්ත නාමාවලිය ඉවත් කරයි.
2017 ජනවාරි 31, 23:27 UTC: GitLab ඉංජිනේරුවෙක්, දිගු රාත්රියක අවසානයේදී කැඩී ගිය අනුරුවක් සමඟ පොරබදමින්, db2 වෙනුවට db1 හි PostgreSQL දත්ත නාමාවලිය ඉවත් කරයි. db1 ප්රාථමිකයයි. GitLab.com හි දත්ත සමුදායෙන් 300 GB පමණ තත්පරයකින් හෝ දෙකකින් අතුරුදහන් වන අතර, උපස්ථ සහ ප්රතිවර්තන යාන්ත්රණ පහෙන් කිසිවක් ක්රියාත්මක නොවේ. පශ්චාත් මරණ පරීක්ෂණය: ස්පෑම් උල්පතේ සිට වැරදි ධාරක නාමය දක්වා කාලරාමුව, pg_basebackup සිරවී ඇති බවක් පෙනෙන්නේ ඇයි, pg_dump නිශ්ශබ්දව අසාර්ථක වූයේ ඇයි (9.6 දත්ත සමුදායක 9.2 ද්විමය, DMARC මගින් අසාර්ථක විද්යුත් තැපැල් ආපසු පැමිණීම), YouTube හි සජීවීව ප්රවාහය කරන ලද පැය 6ක් පැරණි අදියර ස්නැප්ෂොට් එකකින් පැය 18ක ප්රතිසාධනය, සහ ඇත්ත වශයෙන්ම වරද පැවරෙන්නේ කාටද. ප්රතිචාරය පිළිබඳ තීන්දුව: SHIP IT.
ලිඛිත සංස්කරණය කියවන්න (ඉංග්රීසි) ↗
මෙම වීඩියෝවෙන් ආවරණය වන දේ
- 2017 ජනවාරි 31: ප්රාථමික දත්ත නාමාවලියේ rm -Rvf; ~300 GB ඉවත් කරන ලදී, 4.5 GB ඉතිරි විය
- උපස්ථ 5න් 5ක් අසාර්ථකයි: හිස් S3 බාල්දිය (pg_dump අනුවාද නොගැලපීම), DB මත Azure ස්නැප්ෂොට් නොමැත, පිසදැමූ අනුරුව, වෙබ්හුක් නොමැතිව දෛනික LVM පිටපත
- පෙබරවාරි 1, 18:00 UTC: පැය 6ක් පැරණි අතින් කරන ලද ස්නැප්ෂොට් එකකින් GitLab.com නැවත ක්රියාත්මක; සජීවී ලේඛනය, සජීවී ප්රවාහය, දෝෂ නිවැරදි කිරීමේ ලැයිස්තුවක් සහිත දෝෂ රහිත පශ්චාත් මරණ පරීක්ෂණයක්
ප්රශ්න සහ පිළිතුරු
2017 GitLab.com නිෂ්පාදන දත්ත සමුදාය මැකීමේදී සිදු වූයේ කුමක්ද?
2017 ජනවාරි 31 වැනි දින අග භාගයේදී, කැඩී ගිය අනුරුවක් අලුත්වැඩියා කිරීමට උත්සාහ කළ GitLab ඉංජිනේරුවෙකු db2 වෙනුවට db1 මත PostgreSQL දත්ත නාමාවලිය ඉවත් කළේය. db1 ප්රාථමිකය විය. දළ වශයෙන් 300 GB අතුරින් 4.5 GB ඉතිරි විය. GitLab ප්රකාශ කළේ තමන් අහම්බෙන් නිෂ්පාදන දත්ත මකා දැමූ බවත්, එහි සිද්ධි සටහන් ප්රසිද්ධියේ විවෘත කළ බවත්, YouTube හි ප්රතිසාධනය සජීවීව විකාශය කළ බවත්ය.
GitLab හි උපස්ථ සහ ප්රතිවර්තන යාන්ත්රණ පහෙන් කිසිවක් එය අවශ්ය වූ විට ක්රියා නොකළේ ඇයි?
GitLab හි පශ්චාත් මරණ පරීක්ෂණයට අනුව, S3 වෙත දෛනික pg_dump අසාර්ථක වෙමින් තිබුණේ cron කාර්යය 9.6 දත්ත සමුදායක් සඳහා PostgreSQL 9.2 ද්විමය තෝරා ගත් නිසා වන අතර, එහි අසාර්ථක විද්යුත් තැපැල් DMARC නොමැති වීම නිසා ආපසු පැමිණියේය. Azure ස්නැප්ෂොට් ගොනු සේවාදායකයන් ආවරණය කළ නමුත් දත්ත සමුදායන් ආවරණය කළේ නැත. අනුරුව හිතාමතාම පිසදමා තිබූ අතර, දෛනික ස්නැප්ෂොට් එකේ වෙබ්හුක් ඉවත් කර තිබුණි. අදාළ නොවන පරීක්ෂණයක් සඳහා කරන ලද අතින් කරන ලද ස්නැප්ෂොට් එකක් පමණක් ඉතිරි විය.
GitLab.com ප්රතිසාධනය කිරීමට පැය දහඅටක් පමණ ගත වූයේ ඇයි?
ප්රතිසාධනය යනු අදියර තැටිය නැවත නිෂ්පාදනයට Azure හි ලාභදායී ගබඩාව හරහා තත්පරයකට මෙගාබිට් හැටක වේගයකින් පිටපත් කිරීමයි, එයට පැය දහඅටක් ගත විය. GitLab.com පෙබරවාරි 1 වන දින 18:00 UTC ට නැවත පැමිණියේ, පැය හයක් පැරණි අතින් කරන ලද ස්නැප්ෂොට් එකක් භාවිතා කරමිනි. කථාංගයට අනුව, මෙම බිඳවැටීමට දත්ත පැය හයක්, දළ වශයෙන් ව්යාපෘති පන්දහසක්, අදහස් පන්දහසක් සහ අලුත් පරිශීලකයින් හත්සියයක් අහිමි විය.
දෝෂ රහිත පශ්චාත් මරණ පරීක්ෂණ මඟින් විධානය ක්රියාත්මක කළ ඉංජිනේරුවාට වඩා ක්රියාවලිය කෙරෙහි අවධානය යොමු කරන්නේ ඇයි?
ප්රධාන විධායක නිලධාරියා විසින් අත්සන් කරන ලද GitLab හි පශ්චාත් මරණ පරීක්ෂණය, ඉංජිනේරුවා නිර්නාමිකව තබා ගත් අතර, අසාර්ථකත්වය එක් අක්ෂරයකින් වෙනස් ධාරක නාම දෙකකට සහ කිසිවෙකු ප්රතිසාධනය කර නොතිබූ උපස්ථ පද්ධති පහකට ආරෝපණය කළේය. එය නිෂ්පාදන විමසුම රතු පැහැයෙන් වර්ණ ගැන්වූ අතර දත්ත කල්පැවැත්මට හිමිකරුවෙකු ලබා දුන්නේය, මන්ද ඊට පෙර එයට කිසිවක් නොතිබූ බැවිනි. දෝෂ නිවැරදි කිරීමේ ලැයිස්තුව ගැටළු අංක සමඟ ප්රකාශයට පත් කරන ලදී.
GitLab හි දත්ත සමුදා සිදුවීමෙන් කණ්ඩායම් ලබා ගත යුත්තේ කුමක්ද, සහ GitLab හි ප්රතිචාරය නිවැරදිද?
The Daily Diff හි තීන්දුව වූයේ ප්රතිචාරය මත SHIP IT යන්නයි. GitLab සිදුවීම ප්රසිද්ධියේ ක්රියාත්මක කළ අතර, ක්රියාවලියට වරද පවරා ගැටළු අංක සහිත නිවැරදි කිරීමේ ලැයිස්තුවක් ප්රකාශයට පත් කළේය. කථාංගයේ සඳුදා ක්රියාව වන්නේ උපස්ථයක් ප්රතිසාධනය කිරීමයි, මන්ද කිසිදා ප්රතිසාධනය නොකළ උපස්ථයක් උපස්ථයක් ලෙස ගණන් ගත නොහැකි බැවිනි. Hacker News සජීවී සිදුවීම් ලේඛනයට 1,162 ලකුණු ලබා දුන්නේය.
පරිවර්තනය කරන ලද පිටපත
මුල් ඉංග්රීසි නිරූපණයෙන් පරිවර්තනය කරන ලදී. පවතින ශ්රව්ය සහ ශීර්ෂ පාඨ YouTube මගින් පාලනය වේ.
0:00 GitLab හි ඉංජිනේරුවෙකු වැරදි දත්ත සමුදා සේවාදායකයේ rm -rf ධාවනය කරයි, සහ GitLab.com හි ගිගාබයිට් තුන්සියයක් තත්පරයකින් හෝ දෙකකින් අතුරුදහන් වේ, ධාරක නාමයක් කියවීමට ගතවන කාලය පමණ. 2017 ජනවාරි 31, ප.ව. 11:27. UTC. GitLab නිෂ්පාදන දත්ත අහම්බෙන් මකා දැමූ බව ට්වීට් කරයි, එහි සිදුවීම් සටහන් අන්තර්ජාලයට විවෘත කරන අතර YouTube හි ප්රතිසාධනය සජීවීව ප්රවාහය කරයි, වේදිකාවේ දෙවන සජීවී ප්රවාහය. ඊළඟ දවසේ, ලිඛිතව: උපස්ථ ක්රම පහෙන්,
0:25 කිසිවක් විශ්වාසනීයව ක්රියාත්මක නොවේ. එය සිදුවන්නේ කෙසේද, එය කළ හැක්කේ ඇයි, සහ ඇත්ත වශයෙන්ම වරද පැවරෙන්නේ කාටද. මෙය The Daily Diff, පශ්චාත් මරණ පරීක්ෂණය. ප.ව. 5:20: ඉංජිනේරුවෙකු නිෂ්පාදන ස්නැප්ෂොට් කරයි අදියරෙහි බර ශේෂකය පරීක්ෂා කිරීමට. ප.ව. 7: ස්පෑම් දත්ත සමුදායට පහර දෙයි, තවද GitLab සේවකයෙකු දෘඪ ලෙස මකා දමන කාර්යයක් අපයෝජනය සඳහා වාර්තා කරන ලද ට්රෝලයක්. ප.ව. 11: අනුරුව ප්රාථමිකය දැනටමත් ඉවත් කර ඇති තරම් පසුගාමී වේ
0:48 එය අවශ්ය ලොගය; එකම විසඳුම වන්නේ අනුරුව පිසදමා ප්රාථමිකය පිටපත් කිරීමයි නැවතත්. pg_basebackup ප්රතිදානයකින් තොරව නතර වේ. එය ඇත්ත වශයෙන්ම නිශ්ශබ්දව, ප්රාථමිකය සඳහා බලා සිටී; කිසිවෙකු එය දන්නේ නැත, සහ ධාවන පොත කියන්නේ නැත. ප.ව. එකොළහට අත්සන් කිරීමට අදහස් කළ ඉංජිනේරුවා හිස් දත්ත නාමාවලිය ගැටලුව බව තීරණය කර එය ඉවත් කරයි. db1 මත. ප්රාථමිකය. ඔහු තත්පරයකින් හෝ දෙකකින් පසුව එය දකිනවා; දළ වශයෙන් ගිගාබයිට් තුන්සියයෙන්,
1:11 4.5ක් ඉතිරිව ඇත. උපස්ථ. එක: දිනපතා S3 වෙත pg_dump. බාල්දිය හිස්ය. cron කාර්යය දත්ත සමුදායක් නොමැති යෙදුම් සේවාදායකයක ධාවනය වේ, එබැවින් පැකේජය තෝරා ගනී 9.6 දත්ත සමුදායක් සඳහා PostgreSQL 9.2 ද්විමය, අසාර්ථක වේ, සහ විද්යුත් තැපැල් කරයි අසාර්ථකත්වය, එය DMARC නොමැති වීම නිසා ආපසු පැමිණේ. දෙක: Azure තැටි ස්නැප්ෂොට්, ගොනු සේවාදායකයන් සඳහා සක්රීය කර ඇත, දත්ත සමුදායන් සඳහා නොවේ.
1:32 තුන: අනුරුව, පැයකට පෙර හිතාමතාම පිසදමන ලදී. හතර: දෛනික ස්නැප්ෂොට්, පැය 24ක් පැරණි, සෑම වෙබ්හුක් එකක්ම ඉවත් කරන ලදී අදියර සමමුහුර්තකරණය. පහ: ප.ව. 5:20ට කරන ලද අතින් කරන ලද ස්නැප්ෂොට්, අදාළ නොවන පරීක්ෂණයක් සඳහා. එය ජයග්රහණය කරයි. ප්රතිසාධනය යනු අදියර තැටිය නැවත නිෂ්පාදනයට Azure හි ලාභදායී හරහා පිටපත් කිරීමයි තත්පරයකට මෙගාබිට් හැටක වේගයකින් ගබඩා කිරීම: පැය දහඅටක්. GitLab.com පෙබරවාරි 1 වන දින ප.ව. හයට නැවත පැමිණේ. UTC, පැය හයකින් දත්ත පැරණි වේ.
1:58 git blame: එක් අක්ෂරයකින් වෙනස් ධාරක නාම දෙකක්, සහ කිසිවෙකුට නොමැති උපස්ථ පද්ධති පහක් කිසිදා ප්රතිසාධනය කර නොමැත. ඉංජිනේරුවා නොවේ. ප්රධාන විධායක නිලධාරියා විසින් අත්සන් කරන ලද පශ්චාත් මරණ පරීක්ෂණය ඔහුව නිර්නාමිකව තබා ගනී, නිෂ්පාදන විමසුම රතු පැහැයෙන් වර්ණ ගන්වයි, සහ දත්ත කල්පැවැත්මට හිමිකරුවෙකු ලබා දෙයි, මක්නිසාද යත් මේ වන තෙක් එය කිසිවක් නොතිබූ බැවිනි. පිපිරුම් අරය: පැය දහඅටක් බිඳ වැටුණි, පැය හයක දත්ත නැති විය, දළ වශයෙන් ව්යාපෘති පන්දහසක්, අදහස් පන්දහසක්,
2:18 අලුත් පරිශීලකයින් හත්සියයක්, සහ ප්රගති තීරුවක් නරඹන පන්දහසක් දෙනෙක්. Hacker News සජීවී ලේඛනයට 1,162 ලකුණු ලබා දෙයි සහ එකක් උපුටා දක්වයි නැවත ඔවුන්ට පේළිය: උපස්ථ පහෙන්, කිසිවක් නැත. තීන්දුව, පශ්චාත් මරණ පරීක්ෂණය: ප්රතිචාරය මත SHIP IT. ඔවුන් සිදුවීම ප්රසිද්ධියේ ක්රියාත්මක කරයි, ක්රියාවලියට වරද පවරයි, සහ නිවැරදි කිරීමේ ලැයිස්තුව ප්රකාශයට පත් කරයි ගැටළු අංක සමඟ. සඳුදා ක්රියාව: උපස්ථයක් ප්රතිසාධනය කරන්න. ඔබ එය කිසිදා ප්රතිසාධනය කර නොමැති නම්, ඔබට එකක් නොමැත.
2:42 ඔබට තවමත් කතා කිරීමට අවසර නොමැති සිදුවීම මට එවන්න, අදහස් දැක්වීමේදී, හෝ daily diff dot dev හි. සහ එය අදට වෙනසයි. මම Axrisi වෙතින් Niko. වගකීමෙන් ඒකාබද්ධ කරන්න.
මූලාශ්ර
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



