ინჟინერმა წაშალა GitLab-ის პროდაქშენ მონაცემთა ბაზა. 300 გიგაბაიტი.
2017 წლის 31 იანვარი, 23:27 UTC: GitLab-ის ინჟინერმა, რომელიც ხანგრძლივი ღამის ბოლოს გაუმართავ რეპლიკას ებრძოდა, db2-ის ნაცვლად db1-ზე წაშალა PostgreSQL-ის მონაცემთა დირექტორია.
2017 წლის 31 იანვარი, 23:27 UTC: GitLab-ის ინჟინერმა, რომელიც ხანგრძლივი ღამის ბოლოს გაუმართავ რეპლიკას ებრძოდა, db2-ის ნაცვლად db1-ზე წაშალა PostgreSQL-ის მონაცემთა დირექტორია. db1 იყო პირველადი. GitLab.com-ის მონაცემთა ბაზის დაახლოებით 300 GB გაქრა ერთ-ორ წამში, და ხუთი სარეზერვო და რეპლიკაციის მექანიზმიდან არცერთი არ მუშაობდა. პოსტმორტემი: ქრონოლოგია სპამის ზრდიდან არასწორ ჰოსტნეიმამდე, რატომ ჩანდა pg_basebackup გაჭედილი, რატომ ფუჭდებოდა pg_dump ჩუმად (9.2 ბინარები 9.6 მონაცემთა ბაზაზე, შეცდომის ელფოსტები DMARC-ის მიერ დაბლოკილი), 18-საათიანი აღდგენა 6-საათიანი სტეიჯინგის სნეპშოტიდან, რომელიც პირდაპირ ეთერში გადაიცემოდა YouTube-ზე, და ვინ არის რეალურად დამნაშავე. პასუხის ვერდიქტი: SHIP IT.
წაიკითხეთ წერილობითი გამოცემა (ინგლისური) ↗
რას მოიცავს ეს ვიდეო
- 2017 წლის 31 იანვარი: rm -Rvf პირველადი სერვერის მონაცემთა დირექტორიაზე; ~300 GB წაიშალა, დარჩა 4.5 GB
- 5-დან 5 სარეზერვო ასლი არ მუშაობს: ცარიელი S3 bucket (pg_dump ვერსიის შეუსაბამობა), DB-ზე Azure სნეპშოტები არ არის, წაშლილი რეპლიკა, ყოველდღიური LVM ასლი ვებჰუკების გარეშე
- 1 თებერვალი, 18:00 UTC: GitLab.com აღდგა 6-საათიანი ხელით შექმნილი სნეპშოტიდან; ცოცხალი დოკუმენტი, ცოცხალი სტრიმი, უდანაშაულო პოსტმორტემი შეცდომების გამოსწორების სიით
კითხვები და პასუხები
რა მოხდა 2017 წელს GitLab.com-ის პროდაქშენ მონაცემთა ბაზის წაშლისას?
2017 წლის 31 იანვარს, გვიან ღამით, GitLab-ის ინჟინერმა, რომელიც ცდილობდა გაფუჭებული რეპლიკის შეკეთებას, წაშალა PostgreSQL მონაცემთა დირექტორია db1-ზე db2-ის ნაცვლად. db1 იყო ძირითადი. დაახლოებით 300 გბ-დან დარჩა 4.5 გბ. GitLab-მა ტვიტერზე დაწერა, რომ შემთხვევით წაშალა წარმოების მონაცემები, საჯაროდ გახსნა ინციდენტის ჩანაწერები და YouTube-ზე გადასცა აღდგენის პროცესი.
რატომ არ მუშაობდა GitLab-ის ხუთი სარეზერვო და რეპლიკაციის მექანიზმიდან არცერთი, როდესაც ის მათ სჭირდებოდა?
GitLab-ის პოსტმორტემის თანახმად, ყოველდღიური pg_dump S3-ზე ფუჭდებოდა, რადგან cron job-მა PostgreSQL 9.2 ბინარები აირჩია 9.6 მონაცემთა ბაზისთვის, და მისი შეცდომის ელფოსტები DMARC-ის არარსებობის გამო უკან ბრუნდებოდა. Azure სნეპშოტები ფარავდა ფაილურ სერვერებს, მაგრამ არა მონაცემთა ბაზებს. რეპლიკა მიზანმიმართულად იყო წაშლილი, და ყოველდღიური სნეპშოტიდან ამოღებული იყო ვებჰუკები. მხოლოდ ხელით შექმნილმა სნეპშოტმა, რომელიც დაუკავშირებელი ტესტისთვის იყო გადაღებული, გადარჩა.
რატომ დასჭირდა GitLab.com-ის აღდგენას დაახლოებით თვრამეტი საათი?
აღდგენა ნიშნავდა სტეიჯინგის დისკის უკან პროდაქშენზე კოპირებას Azure-ის იაფი საცავის საშუალებით, სამოცი მეგაბიტი წამში, რასაც თვრამეტი საათი დასჭირდა. GitLab.com დაბრუნდა 1 თებერვალს 18:00 UTC-ზე, ექვსი საათის წინანდელი ხელით შექმნილი სნეპშოტის გამოყენებით. შეფერხებამ ექვსი საათის მონაცემები, დაახლოებით ხუთი ათასი პროექტი, ხუთი ათასი კომენტარი და შვიდასი ახალი მომხმარებელი დაჯდა, ეპიზოდის თანახმად.
რატომ ფოკუსირდება უდანაშაულო პოსტმორტემები პროცესზე და არა ინჟინერზე, ვინც ბრძანება გასცა?
GitLab-ის პოსტმორტემმა, გენერალური დირექტორის ხელმოწერით, ინჟინერი ანონიმურად დატოვა და წარუმატებლობა მიაწერა ორ ჰოსტნეიმს, რომლებიც ერთ სიმბოლოში განსხვავდებოდა, და ხუთ სარეზერვო სისტემას, საიდანაც არავის არასდროს აღუდგენია. მან პროდაქშენის მოთხოვნა წითლად შეფერა და მონაცემთა გამძლეობას მფლობელი მიანიჭა, რადგან აქამდე არ ჰქონდა. შეცდომების გამოსწორების სია გამოქვეყნდა საკითხის ნომრებით.
რა უნდა ისწავლონ გუნდებმა GitLab-ის მონაცემთა ბაზის ინციდენტისგან, და იყო თუ არა GitLab-ის რეაგირება გამართლებული?
The Daily Diff-ის ვერდიქტი იყო SHIP IT, რეაგირების შესახებ. GitLab-მა ინციდენტი საჯაროდ აწარმოა, პროცესს დაადანაშაულა და შეცდომების გამოსწორების სია საკითხის ნომრებით გამოაქვეყნა. ეპიზოდის ორშაბათის ქმედებაა სარეზერვო ასლის აღდგენა, რადგან სარეზერვო ასლი, რომელიც არასდროს აღდგენილა, არ შეიძლება ჩაითვალოს სარეზერვო ასლად. Hacker News-მა ცოცხალ ინციდენტის დოკუმენტს 1,162 ქულა მისცა.
ნათარგმნი ტრანსკრიპტი
ნათარგმნია ორიგინალური ინგლისური ნარატივიდან. ხელმისაწვდომი აუდიო და სუბტიტრები კონტროლდება YouTube-ის მიერ.
0:00 GitLab-ის ინჟინერმა არასწორ მონაცემთა ბაზის სერვერზე გაუშვა rm -rf, და GitLab.com-ის სამასი გიგაბაიტი გაქრა ერთ-ორ წამში, დაახლოებით იმდენ ხანში, რამდენიც ჰოსტნეიმის წაკითხვას სჭირდება. 2017 წლის 31 იანვარი, საღამოს 11:27 UTC. GitLab აქვეყნებს ტვიტს, რომ შემთხვევით წაშალა პროდაქშენ მონაცემები, ხსნის ინციდენტის ჩანაწერებს ინტერნეტისთვის და აღდგენას პირდაპირ ეთერში გადასცემს YouTube-ზე, პლატფორმაზე მეორე ყველაზე ნახვადი პირდაპირი სტრიმინგი. მეორე დღეს, წერილობით: ხუთი სარეზერვო ასლის ტექნიკიდან,
0:25 არცერთი არ მუშაობს სანდოდ. როგორ ხდება ეს, რატომ არის შესაძლებელი და ვინ არის რეალურად დამნაშავე. ეს არის The Daily Diff, პოსტმორტემი. საღამოს 5:20: ინჟინერი ქმნის პროდაქშენის სნეპშოტს სტეიჯინგში load balancer-ის შესამოწმებლად. საღამოს 7:00: სპამი აწვება მონაცემთა ბაზას, პლუს დავალება, რომელიც მყარად შლის GitLab-ის თანამშრომელს, რომელიც ტროლმა შეატყობინა ბოროტად გამოყენების გამო. საღამოს 11:00: რეპლიკა იმდენად ჩამორჩება, რომ პირველადმა უკვე წაშალა
0:48 საჭირო ჟურნალი; ერთადერთი გამოსავალია რეპლიკის წაშლა და პირველადის კოპირება თავიდან. pg_basebackup იჭედება გამომავალი ინფორმაციის გარეშე. ის რეალურად ელოდება, ჩუმად, პირველადს; არავინ იცის ეს, და runbook-ში ეს არ არის ნათქვამი. ინჟინერი, რომელსაც თერთმეტზე უნდა მოეწერა ხელი, გადაწყვეტს, რომ ცარიელი მონაცემთა დირექტორია არის პრობლემა და შლის მას. db1-ზე. პირველადზე. ის ამას ერთ-ორ წამში ამჩნევს; დაახლოებით სამასი გიგაბაიტიდან,
1:11 4.5 რჩება. სარეზერვო ასლები. ერთი: pg_dump S3-ზე, ყოველდღიურად. bucket ცარიელია. cron job გაშვებულია აპლიკაციის სერვერზე მონაცემთა ბაზის გარეშე, ამიტომ პაკეტი ირჩევს PostgreSQL 9.2 ბინარებს 9.6 მონაცემთა ბაზისთვის, ფუჭდება, და აგზავნის ელფოსტას შეცდომის შესახებ, რომელიც DMARC-ის არარსებობის გამო უკან ბრუნდება. ორი: Azure დისკის სნეპშოტები, ჩართულია ფაილურ სერვერებისთვის, არა მონაცემთა ბაზებისთვის.
1:32 სამი: რეპლიკა, მიზანმიმართულად წაშლილი ერთი საათის წინ. ოთხი: ყოველდღიური სნეპშოტი, 24 საათის წინანდელი, ყველა ვებჰუკი ამოღებულია სტეიჯინგის სინქრონიზაციით. ხუთი: ხელით შექმნილი სნეპშოტი 5:20-დან, დაუკავშირებელი ტესტისთვის. ეს იმარჯვებს. აღდგენა ნიშნავს სტეიჯინგის დისკის უკან პროდაქშენზე კოპირებას Azure-ის იაფი საცავის საშუალებით, სამოცი მეგაბიტი წამში: თვრამეტი საათი. GitLab.com აღდგა 1 თებერვალს საღამოს ექვს საათზე UTC, ექვსი საათით ძველი მონაცემებით.
1:58 git blame: ორი ჰოსტნეიმი ერთ სიმბოლოში განსხვავებული, და ხუთი სარეზერვო სისტემა, საიდანაც არავის არასდროს აღუდგენია. არა ინჟინერი. პოსტმორტემი, გენერალური დირექტორის ხელმოწერით, ინარჩუნებს მის ანონიმურობას, პროდაქშენის მოთხოვნას წითლად აფერადებს და მონაცემთა გამძლეობას მფლობელს აძლევს, რადგან აქამდე არ ჰქონდა. დაზიანების რადიუსი: თვრამეტი საათიანი შეფერხება, ექვსი საათის მონაცემები დაკარგულია, დაახლოებით ხუთი ათასი პროექტი, ხუთი ათასი კომენტარი,
2:18 შვიდასი ახალი მომხმარებელი და ხუთი ათასი ადამიანი, რომელიც პროგრესის ზოლს უყურებს. Hacker News აძლევს ცოცხალ დოკუმენტს 1,162 ქულას და ციტირებს ერთ ხაზს მათგან: ხუთი სარეზერვო ასლიდან, არცერთი. ვერდიქტი, პოსტმორტემი: SHIP IT, პასუხის შესახებ. ისინი ინციდენტს საჯაროდ აწარმოებენ, პროცესს ადანაშაულებენ და შეცდომების გამოსწორების სიას აქვეყნებენ საკითხის ნომრებით. ორშაბათის ქმედება: სარეზერვო ასლის აღდგენა. თუ არასდროს აღგიდგენიათ, მაშინ არ გაქვთ.
2:42 გამომიგზავნეთ ინციდენტი, რომელზეც ჯერ კიდევ არ გაქვთ საუბრის უფლება, კომენტარებში, ან dailydiff.dev-ზე. და ეს არის დღევანდელი diff. მე ვარ ნიკო Axrisi-დან. შეერწყა პასუხისმგებლობით.
წყაროები
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



