Ένας μηχανικός διέγραψε τη βάση δεδομένων παραγωγής της GitLab. 300 gigabytes.
31 Ιανουαρίου 2017, 23:27 UTC: ένας μηχανικός της GitLab, προσπαθώντας να επιδιορθώσει ένα χαλασμένο αντίγραφο στο τέλος μιας κουραστικής νύχτας, αφαιρεί τον κατάλογο δεδομένων PostgreSQL στο db1 αντί του db2.
31 Ιανουαρίου 2017, 23:27 UTC: ένας μηχανικός της GitLab, προσπαθώντας να επιδιορθώσει ένα χαλασμένο αντίγραφο στο τέλος μιας κουραστικής νύχτας, αφαιρεί τον κατάλογο δεδομένων PostgreSQL στο db1 αντί του db2. Το db1 είναι το πρωτεύον. Περίπου 300 GB της βάσης δεδομένων του GitLab.com εξαφανίζονται σε ένα ή δύο δευτερόλεπτα, και από τους πέντε μηχανισμούς δημιουργίας αντιγράφων ασφαλείας και αναπαραγωγής, κανένας δεν λειτουργεί. Μεταθανάτια ανάλυση: το χρονοδιάγραμμα από την κορύφωση του spam έως το λάθος όνομα κεντρικού υπολογιστή, γιατί το pg_basebackup φαινόταν κολλημένο, γιατί το pg_dump αποτύγχανε σιωπηλά (δυαδικά αρχεία 9.2 σε βάση δεδομένων 9.6, email αποτυχίας που αναπηδούσαν από το DMARC), η 18ωρη αποκατάσταση από ένα στιγμιότυπο staging 6 ωρών που μεταδόθηκε ζωντανά στο YouTube, και ποιος φταίει πραγματικά. Ετυμηγορία για την απάντηση: SHIP IT.
Διαβάστε την γραπτή έκδοση (Αγγλικά) ↗
Τι καλύπτει αυτό το βίντεο
- 31 Ιανουαρίου 2017: rm -Rvf στον κατάλογο δεδομένων του πρωτεύοντος διακομιστή· αφαιρέθηκαν ~300 GB, έμειναν 4,5 GB
- 5 από 5 εφεδρικά αντίγραφα αποτυγχάνουν: άδειο S3 bucket (ασυμφωνία έκδοσης pg_dump), χωρίς στιγμιότυπα Azure στη ΒΔ, σκουπισμένο αντίγραφο, καθημερινή αντιγραφή LVM χωρίς webhooks
- 1 Φεβρουαρίου, 18:00 UTC: Το GitLab.com επανέρχεται από ένα χειροκίνητο στιγμιότυπο 6 ωρών· ζωντανό έγγραφο, ζωντανή ροή, μεταθανάτια ανάλυση χωρίς κατηγορίες με λίστα διορθώσεων
Ερωτήσεις και απαντήσεις
Τι συνέβη με τη διαγραφή της βάσης δεδομένων παραγωγής του GitLab.com το 2017;
Αργά στις 31 Ιανουαρίου 2017, ένας μηχανικός της GitLab που προσπαθούσε να επιδιορθώσει ένα χαλασμένο αντίγραφο αφαίρεσε τον κατάλογο δεδομένων PostgreSQL στο db1 αντί για το db2. Το db1 ήταν ο πρωτεύων. Από περίπου 300 GB, απέμειναν 4,5 GB. Η GitLab ανέβασε tweet ότι είχε διαγράψει κατά λάθος δεδομένα παραγωγής, άνοιξε τις σημειώσεις περιστατικών της δημόσια και μετέδωσε την ανάκτηση στο YouTube.
Γιατί κανένας από τους πέντε μηχανισμού δημιουργίας αντιγράφων ασφαλείας και αναπαραγωγής της GitLab δεν λειτούργησε όταν τους χρειάστηκε;
Σύμφωνα με την μεταθανάτια ανάλυση της GitLab, το καθημερινό pg_dump στο S3 αποτύγχανε επειδή η cron job επέλεγε δυαδικά αρχεία PostgreSQL 9.2 για μια βάση δεδομένων 9.6, και τα email αποτυχίας της αναπηδούσαν λόγω ελλείποντος DMARC. Τα στιγμιότυπα Azure κάλυπταν τους διακομιστές αρχείων αλλά όχι τις βάσεις δεδομένων. Το αντίγραφο είχε διαγραφεί επίτηδες, και το καθημερινό στιγμιότυπο είχε αφαιρεθεί τα webhooks του. Μόνο ένα χειροκίνητο στιγμιότυπο, που είχε ληφθεί για μια άσχετη δοκιμή, επέζησε.
Γιατί η αποκατάσταση του GitLab.com χρειάστηκε περίπου δεκαοκτώ ώρες;
Η αποκατάσταση σήμαινε την αντιγραφή του δίσκου staging πίσω στην παραγωγή μέσω του φθηνού αποθηκευτικού χώρου του Azure με εξήντα megabits ανά δευτερόλεπτο, κάτι που πήρε δεκαοκτώ ώρες. Το GitLab.com επανήλθε την 1η Φεβρουαρίου στις 18:00 UTC, χρησιμοποιώντας ένα χειροκίνητο στιγμιότυπο έξι ωρών. Η διακοπή κόστισε έξι ώρες δεδομένων, περίπου πέντε χιλιάδες έργα, πέντε χιλιάδες σχόλια και επτακόσιους νέους χρήστες, σύμφωνα με το επεισόδιο.
Γιατί οι μεταθανάτιες αναλύσεις χωρίς κατηγορίες επικεντρώνονται στη διαδικασία και όχι στον μηχανικό που εκτέλεσε την εντολή;
Η μεταθανάτια ανάλυση της GitLab, υπογεγραμμένη από τον Διευθύνοντα Σύμβουλο, κράτησε τον μηχανικό ανώνυμο και απέδωσε την αποτυχία σε δύο ονόματα κεντρικών υπολογιστών που απείχαν έναν χαρακτήρα και σε πέντε συστήματα δημιουργίας αντιγράφων ασφαλείας από τα οποία κανείς δεν είχε κάνει ανάκτηση. Χρωμάτισε την προτροπή παραγωγής κόκκινη και έδωσε στην ανθεκτικότητα των δεδομένων έναν ιδιοκτήτη, επειδή δεν είχε κανέναν πριν. Η λίστα διορθώσεων δημοσιεύτηκε με αριθμούς θεμάτων.
Τι πρέπει να πάρουν οι ομάδες από το περιστατικό βάσης δεδομένων της GitLab, και ήταν η απάντηση της GitLab σωστή;
Η ετυμηγορία του The Daily Diff ήταν SHIP IT, για την απάντηση. Η GitLab διαχειρίστηκε το περιστατικό δημόσια, κατηγόρησε τη διαδικασία και δημοσίευσε μια λίστα διορθώσεων με αριθμούς θεμάτων. Η δράση της Δευτέρας του επεισοδίου είναι η επαναφορά ενός αντιγράφου ασφαλείας, επειδή ένα αντίγραφο ασφαλείας που δεν έχει ποτέ επαναφερθεί δεν μπορεί να θεωρηθεί αντίγραφο ασφαλείας. Το Hacker News έδωσε στο ζωντανό έγγραφο του περιστατικού 1.162 πόντους.
Μεταφρασμένη μεταγραφή
Μεταφράστηκε από την πρωτότυπη αγγλική αφήγηση. Ο διαθέσιμος ήχος και οι υπότιτλοι ελέγχονται από το YouTube.
0:00 Ένας μηχανικός στην GitLab εκτελεί rm -rf στον λάθος διακομιστή βάσης δεδομένων, και τριακόσια gigabytes του GitLab dot com εξαφανίζονται σε ένα ή δύο δευτερόλεπτα, περίπου όσο χρειάζεται για να διαβάσεις ένα όνομα κεντρικού υπολογιστή. 31 Ιανουαρίου 2017, 11:27 μ.μ. UTC. Η GitLab ανακοινώνει μέσω tweet ότι διέγραψε κατά λάθος δεδομένα παραγωγής, ανοίγει τις σημειώσεις του περιστατικού στο διαδίκτυο και μεταδίδει ζωντανά την ανάκτηση στο YouTube, τη δεύτερη σε αριθμό ζωντανή ροή στην πλατφόρμα. Την επόμενη μέρα, γραπτώς: από τις πέντε τεχνικές δημιουργίας αντιγράφων ασφαλείας,
0:25 καμία δεν λειτουργεί αξιόπιστα. Πώς συμβαίνει, γιατί είναι δυνατόν, και ποιος φταίει πραγματικά. Αυτό είναι το The Daily Diff, μεταθανάτια ανάλυση. 5:20 μ.μ.: ένας μηχανικός δημιουργεί στιγμιότυπο παραγωγής για να δοκιμάσει έναν ισοσταθμιστή φορτίου στο staging. 7 μ.μ.: spam "σφυροκοπάει" τη βάση δεδομένων, συν μια εργασία που διαγράφει οριστικά έναν υπάλληλο της GitLab, τον οποίο αναφέρει ένα troll για κατάχρηση. 11 μ.μ.: το αντίγραφο έχει μείνει τόσο πίσω που το πρωτεύον έχει ήδη απορρίψει
0:48 το αρχείο καταγραφής που χρειάζεται· η μόνη λύση είναι να σβήσεις το αντίγραφο και να αντιγράψεις το πρωτεύον ξανά. Το pg_basebackup κολλάει χωρίς έξοδο. Περιμένει, σιωπηλά, για το πρωτεύον· κανείς δεν το γνωρίζει αυτό, και το εγχειρίδιο λειτουργίας δεν το αναφέρει. Ο μηχανικός, ο οποίος επρόκειτο να αποσυνδεθεί στις έντεκα, αποφασίζει ότι ο άδειος κατάλογος δεδομένων είναι το πρόβλημα και τον αφαιρεί. Στο db1. Το πρωτεύον. Το παρατηρεί ένα ή δύο δευτερόλεπτα αργότερα· από περίπου τριακόσια gigabytes,
1:11 απομένουν 4,5. Τα εφεδρικά αντίγραφα. Ένα: pg_dump σε S3, καθημερινά. Το bucket είναι άδειο. Η cron job εκτελείται σε ένα διακομιστή εφαρμογών χωρίς βάση δεδομένων, οπότε το πακέτο επιλέγει δυαδικά αρχεία PostgreSQL 9.2 για μια βάση δεδομένων 9.6, αποτυγχάνει και στέλνει email την αποτυχία, το οποίο αναπηδά λόγω ελλείποντος DMARC. Δύο: στιγμιότυπα δίσκων Azure, ενεργοποιημένα για τους διακομιστές αρχείων, όχι τις βάσεις δεδομένων.
1:32 Τρία: το αντίγραφο, που διαγράφηκε επίτηδες πριν από μία ώρα. Τέσσερα: το καθημερινό στιγμιότυπο, 24 ωρών, με όλα τα webhooks αφαιρεμένα από τον συγχρονισμό staging. Πέντε: το χειροκίνητο στιγμιότυπο από τις 5:20, για μια άσχετη δοκιμή. Αυτό κερδίζει. Η αποκατάσταση σημαίνει αντιγραφή του δίσκου staging πίσω στην παραγωγή μέσω του φθηνού αποθηκευτικού χώρου του Azure με εξήντα megabits ανά δευτερόλεπτο: δεκαοκτώ ώρες. Το GitLab dot com επιστρέφει την 1η Φεβρουαρίου στις έξι μ.μ. UTC, έξι ώρες παλαιότερα δεδομένα.
1:58 git blame: δύο ονόματα κεντρικών υπολογιστών με διαφορά ενός χαρακτήρα και πέντε συστήματα αντιγράφων ασφαλείας από τα οποία κανείς δεν είχε κάνει ποτέ ανάκτηση. Όχι ο μηχανικός. Η μεταθανάτια ανάλυση, υπογεγραμμένη από τον Διευθύνοντα Σύμβουλο, τον κρατά ανώνυμο, χρωματίζει την προτροπή παραγωγής κόκκινη και δίνει στην ανθεκτικότητα των δεδομένων έναν ιδιοκτήτη, γιατί μέχρι τώρα δεν είχε κανέναν. Εύρος έκρηξης: δεκαοκτώ ώρες εκτός λειτουργίας, έξι ώρες δεδομένων χαμένα, περίπου πέντε χιλιάδες έργα, πέντε χιλιάδες σχόλια,
2:18 εφτακόσιοι νέοι χρήστες και πέντε χιλιάδες άνθρωποι που παρακολουθούν μια μπάρα προόδου. Το Hacker News δίνει στο ζωντανό έγγραφο 1.162 πόντους και αναφέρει μια γραμμή πίσω σε αυτούς: από πέντε εφεδρικά, κανένα. Ετυμηγορία, μεταθανάτια ανάλυση: ship it, για την απάντηση. Διαχειρίζονται το περιστατικό δημόσια, κατηγορούν τη διαδικασία και δημοσιεύουν τη λίστα διορθώσεων με αριθμούς θεμάτων. Δράση Δευτέρας: επαναφορά εφεδρικού αντιγράφου. Αν δεν το έχετε επαναφέρει ποτέ, δεν έχετε κανένα.
2:42 Στείλτε μου το περιστατικό για το οποίο ακόμα δεν σας επιτρέπεται να μιλήσετε, στα σχόλια, ή στο daily diff dot dev. Και αυτή είναι η διαφορά για σήμερα. Είμαι ο Νίκο από την Axrisi. Συγχωνεύστε υπεύθυνα.
Πηγές
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



