Seorang jurutera memadam pangkalan data pengeluaran GitLab. 300 gigabait.
31 Januari 2017, 23:27 UTC: seorang jurutera GitLab, yang bergelut dengan replika yang rosak di hujung malam yang panjang, membuang direktori data PostgreSQL di db1 dan bukannya db2.
31 Januari 2017, 23:27 UTC: seorang jurutera GitLab, yang bergelut dengan replika yang rosak di hujung malam yang panjang, membuang direktori data PostgreSQL di db1 dan bukannya db2. db1 adalah yang utama. Kira-kira 300 GB pangkalan data GitLab.com hilang dalam satu atau dua saat, dan daripada lima mekanisme sandaran dan replikasi, tiada satu pun yang berfungsi. Postmortem: garis masa dari lonjakan spam ke nama hos yang salah, mengapa pg_basebackup kelihatan tersekat, mengapa pg_dump telah gagal secara senyap (binari 9.2 pada pangkalan data 9.6, e-mel kegagalan dipantulkan oleh DMARC), pemulihan 18 jam dari "snapshot" pentas berusia 6 jam yang disiarkan secara langsung di YouTube, dan siapa sebenarnya yang dipersalahkan. Keputusan mengenai respons: SHIP IT.
Baca edisi bertulis (Bahasa Inggeris) ↗
Apa yang diliputi video ini
- 31 Jan 2017: rm -Rvf pada direktori data primer; ~300 GB dialih keluar, 4.5 GB tinggal
- 5 daripada 5 sandaran gagal: baldi S3 kosong (ketidakpadanan versi pg_dump), tiada "snapshot" Azure pada DB, replika dipadam, salinan LVM harian tanpa "webhooks"
- 1 Februari, 18:00 UTC: GitLab.com kembali dari "snapshot" manual berusia 6 jam; dokumen langsung, "live stream", "postmortem" tanpa menyalahkan dengan senarai pembetulan
Soalan dan jawapan
Apa yang berlaku dalam penghapusan pangkalan data pengeluaran GitLab.com 2017?
Lewat pada 31 Januari 2017, seorang jurutera GitLab yang cuba membaiki replika yang rosak telah membuang direktori data PostgreSQL di db1 dan bukannya db2. db1 ialah yang utama. Daripada kira-kira 300 GB, 4.5 GB kekal. GitLab menge-tweet bahawa ia secara tidak sengaja telah memadamkan data pengeluaran, membuka nota insidennya secara umum dan menyiarkan pemulihan di YouTube.
Mengapa tiada satu pun daripada lima mekanisme sandaran dan replikasi GitLab berfungsi apabila ia diperlukan?
Menurut "postmortem" GitLab, pg_dump harian ke S3 telah gagal kerana kerja "cron" memilih binari PostgreSQL 9.2 untuk pangkalan data 9.6, dan e-mel kegagalannya dipantulkan kerana kekurangan DMARC. "Snapshot" Azure meliputi pelayan fail tetapi bukan pangkalan data. Replika telah dipadamkan dengan sengaja, dan "snapshot" harian telah dilucutkan "webhook"nya. Hanya "snapshot" manual, yang diambil untuk ujian yang tidak berkaitan, yang terselamat.
Mengapa memulihkan GitLab.com mengambil masa kira-kira lapan belas jam?
Memulihkan bermakna menyalin cakera pentas kembali ke pengeluaran melalui storan murah Azure pada enam puluh megabit sesaat, yang mengambil masa lapan belas jam. GitLab.com kembali pada 1 Februari jam 18:00 UTC, menggunakan "snapshot" manual berusia enam jam. Gangguan itu menyebabkan kehilangan data enam jam, kira-kira lima ribu projek, lima ribu komen dan tujuh ratus pengguna baru, menurut episod itu.
Mengapa "postmortem" tanpa menyalahkan memberi tumpuan kepada proses dan bukannya jurutera yang menjalankan arahan itu?
Postmortem GitLab, yang ditandatangani oleh CEO, mengekalkan identiti jurutera itu sebagai tanpa nama dan mengaitkan kegagalan itu kepada dua nama hos yang berbeza satu aksara dan lima sistem sandaran yang tiada siapa pernah pulihkan. Ia mewarnakan "prompt" pengeluaran merah dan memberikan pemilik ketahanan data, kerana ia tidak memilikinya sebelum ini. Senarai pembetulan diterbitkan dengan nombor isu.
Apa yang perlu diambil oleh pasukan daripada insiden pangkalan data GitLab, dan adakah respons GitLab itu baik?
Keputusan The Daily Diff adalah SHIP IT, atas respons. GitLab mengendalikan insiden itu secara terbuka, menyalahkan proses itu dan menerbitkan senarai pembetulan dengan nombor isu. Tindakan Isnin episod itu adalah untuk memulihkan sandaran, kerana sandaran yang tidak pernah dipulihkan tidak boleh dianggap sebagai sandaran. Hacker News memberikan dokumen insiden langsung 1,162 mata.
Transkrip terjemahan
Diterjemahkan daripada penceritaan asal Bahasa Inggeris. Audio dan kapsyen yang tersedia dikawal oleh YouTube.
0:00 Seorang jurutera di GitLab menjalankan rm -rf pada pelayan pangkalan data yang salah, dan tiga ratus gigabait GitLab dot com lenyap dalam satu atau dua saat, kira-kira selama mana yang diperlukan untuk membaca nama hos. 31 Januari 2017, 11:27 malam. UTC. GitLab tweet bahawa ia secara tidak sengaja memadam data pengeluaran, membuka nota insidennya kepada internet, dan menyiarkan pemulihan di YouTube, "live stream" nombor dua di platform tersebut. Keesokan harinya, secara bertulis: daripada lima teknik sandaran,
0:25 tiada satu pun yang berfungsi dengan baik. Bagaimana ia berlaku, mengapa ia mungkin, dan siapa sebenarnya yang dipersalahkan. Ini adalah The Daily Diff, postmortem. 5:20 petang: seorang jurutera mengambil "snapshot" pengeluaran untuk menguji pengimbang beban di peringkat pentas. 7 malam: spam menyerang pangkalan data, ditambah dengan kerja memadamkan pekerja GitLab yang dilaporkan oleh troll atas penyalahgunaan. 11 malam: replika terlalu jauh ketinggalan sehingga "primary" telah membuang
0:48 log yang diperlukan; satu-satunya penyelesaian adalah memadam replika dan menyalin "primary" sekali lagi. pg_basebackup tersekat tanpa output. Ia sebenarnya sedang menunggu, secara senyap, untuk "primary"; tiada siapa yang tahu itu, dan "runbook" tidak menyatakan. Jurutera, yang sepatutnya log keluar pada pukul sebelas, memutuskan direktori data kosong adalah masalahnya dan membuangnya. Pada db1. Yang utama. Dia menyedari satu atau dua saat kemudian; daripada kira-kira tiga ratus gigabait,
1:11 4.5 kekal. Sandaran. Satu: pg_dump ke S3, harian. Baldi itu kosong. Kerja cron berjalan pada pelayan aplikasi tanpa pangkalan data, jadi pakej memilih binari PostgreSQL 9.2 untuk pangkalan data 9.6, gagal, dan menghantar e-mel kegagalan, yang dipantulkan kerana kekurangan DMARC. Dua: "snapshot" cakera Azure, diaktifkan untuk pelayan fail, bukan pangkalan data.
1:32 Tiga: replika, dipadamkan dengan sengaja sejam yang lalu. Empat: "snapshot" harian, berusia 24 jam, setiap "webhook" dilucutkan oleh penyelarasan pentas. Lima: "snapshot" manual dari 5:20, untuk ujian yang tidak berkaitan. Yang itu menang. Memulihkan bermakna menyalin cakera pentas kembali ke pengeluaran melalui storan murah Azure pada enam puluh megabit sesaat: lapan belas jam. GitLab dot com kembali pada 1 Februari pukul enam petang. UTC, data enam jam lebih lama.
1:58 git blame: dua nama hos satu aksara berbeza, dan lima sistem sandaran yang tidak pernah dipulihkan oleh sesiapa pun. Bukan jurutera itu. Postmortem, yang ditandatangani oleh CEO, mengekalkan identitinya sebagai tanpa nama, mewarnakan "prompt" pengeluaran merah, dan memberikan pemilik ketahanan data, kerana sehingga kini ia tiada. Radius letupan: lapan belas jam "down", enam jam data hilang, kira-kira lima ribu projek, lima ribu komen,
2:18 tujuh ratus pengguna baru, dan lima ribu orang melihat bar kemajuan. Hacker News memberikan dokumen langsung 1,162 mata dan memetik satu baris kembali kepada mereka: daripada lima sandaran, tiada satu pun. Keputusan, postmortem: SHIP IT, atas respons. Mereka mengendalikan insiden itu secara terbuka, menyalahkan proses itu, dan menerbitkan senarai pembetulan dengan nombor isu. Tindakan Isnin: pulihkan sandaran. Jika anda tidak pernah memulihkannya, anda tidak memilikinya.
2:42 Hantar saya insiden yang anda masih tidak dibenarkan untuk bincangkan, dalam komen, atau di the daily diff dot dev. Dan itulah perbezaan untuk hari ini. Saya Niko dari Axrisi. Gabungkan secara bertanggungjawab.
Sumber
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



