+− THE DAILY DIFFdev & AI news
SHIP IT

Seorang insinyur menghapus database produksi GitLab. 300 gigabita.

31 Januari 2017, 23:27 UTC: seorang insinyur GitLab, yang berjuang melawan replika yang rusak di akhir malam yang panjang, menghapus direktori data PostgreSQL di db1 alih-alih db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 Januari 2017, 23:27 UTC: seorang insinyur GitLab, yang berjuang melawan replika yang rusak di akhir malam yang panjang, menghapus direktori data PostgreSQL di db1 alih-alih db2. db1 adalah primer. Sekitar 300 GB database GitLab.com hilang dalam satu atau dua detik, dan dari lima mekanisme pencadangan dan replikasi, tidak ada yang berfungsi. Postmortem: garis waktu dari lonjakan spam hingga nama host yang salah, mengapa pg_basebackup tampak macet, mengapa pg_dump telah gagal secara diam-diam (biner 9.2 pada database 9.6, email kegagalan dipantulkan oleh DMARC), pemulihan 18 jam dari snapshot staging berusia 6 jam yang disiarkan langsung di YouTube, dan siapa yang sebenarnya disalahkan. Putusan atas respons: SHIP IT.

Baca edisi tertulis (Inggris) ↗

Isi video ini

  • 31 Jan 2017: rm -Rvf pada direktori data primer; ~300 GB dihapus, sisa 4.5 GB
  • 5 dari 5 cadangan gagal: bucket S3 kosong (ketidakcocokan versi pg_dump), tidak ada snapshot Azure di DB, replika terhapus, salinan LVM harian tanpa webhook
  • 1 Feb, 18:00 UTC: GitLab.com kembali dari snapshot manual berusia 6 jam; dokumen langsung, siaran langsung, postmortem tanpa menyalahkan dengan daftar perbaikan

Pertanyaan dan jawaban

Apa yang terjadi dalam penghapusan database produksi GitLab.com pada tahun 2017?

Pada akhir 31 Januari 2017, seorang insinyur GitLab yang mencoba memperbaiki replika yang rusak menghapus direktori data PostgreSQL di db1 alih-alih db2. db1 adalah primer. Dari sekitar 300 GB, 4.5 GB tersisa. GitLab mencuit bahwa mereka secara tidak sengaja menghapus data produksi, membuka catatan insidennya secara publik, dan menyiarkan pemulihannya di YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

Mengapa tidak ada dari lima mekanisme pencadangan dan replikasi GitLab yang berfungsi saat dibutuhkan?

Menurut postmortem GitLab, pg_dump harian ke S3 telah gagal karena pekerjaan cron memilih biner PostgreSQL 9.2 untuk database 9.6, dan email kegagalannya memantul karena DMARC hilang. Snapshot Azure mencakup server file tetapi bukan database. Replika telah dihapus dengan sengaja, dan snapshot harian telah dihapus webhook-nya. Hanya snapshot manual, yang diambil untuk pengujian yang tidak terkait, yang selamat.

about.gitlab.com · about.gitlab.com

Mengapa memulihkan GitLab.com membutuhkan waktu sekitar delapan belas jam?

Pemulihan berarti menyalin disk staging kembali ke produksi melalui penyimpanan murah Azure dengan enam puluh megabit per detik, yang memakan waktu delapan belas jam. GitLab.com kembali pada 1 Februari pukul 18:00 UTC, menggunakan snapshot manual berusia enam jam. Pemadaman ini menyebabkan hilangnya data enam jam, sekitar lima ribu proyek, lima ribu komentar, dan tujuh ratus pengguna baru, menurut episode tersebut.

about.gitlab.com · about.gitlab.com

Mengapa postmortem tanpa menyalahkan berfokus pada proses daripada insinyur yang menjalankan perintah?

Postmortem GitLab, ditandatangani oleh CEO, menjaga anonimitas insinyur tersebut dan mengaitkan kegagalan tersebut dengan dua nama host yang berbeda satu karakter dan lima sistem cadangan yang tidak pernah dipulihkan oleh siapa pun. Ini mewarnai prompt produksi merah dan memberikan pemilik durabilitas data, karena sebelumnya tidak ada. Daftar perbaikan diterbitkan dengan nomor masalah.

about.gitlab.com · news.ycombinator.com

Apa yang harus diambil oleh tim dari insiden database GitLab, dan apakah respons GitLab tepat?

Putusan The Daily Diff adalah SHIP IT, pada responsnya. GitLab menjalankan insiden secara publik, menyalahkan prosesnya, dan memublikasikan daftar perbaikan dengan nomor masalah. Tindakan Senin episode ini adalah memulihkan cadangan, karena cadangan yang belum pernah dipulihkan tidak dapat dianggap sebagai cadangan. Hacker News memberikan dokumen insiden langsung 1.162 poin.

about.gitlab.com · news.ycombinator.com

Transkrip terjemahan

Diterjemahkan dari narasi asli bahasa Inggris. Audio dan teks tersedia yang dikontrol oleh YouTube.

0:00 Seorang insinyur di GitLab menjalankan rm -rf di server database yang salah, dan tiga ratus gigabyte GitLab dot com lenyap dalam satu atau dua detik, sekitar selama waktu yang dibutuhkan untuk membaca nama host. 31 Januari 2017, 11:27 malam. UTC. GitLab mencuit bahwa mereka secara tidak sengaja menghapus data produksi, membuka catatan insidennya ke internet, dan menyiarkan pemulihannya di YouTube, siaran langsung nomor dua di platform tersebut. Keesokan harinya, secara tertulis: dari lima teknik pencadangan,

0:25 tidak ada yang berfungsi dengan andal. Bagaimana itu terjadi, mengapa itu mungkin, dan siapa yang sebenarnya disalahkan. Ini adalah The Daily Diff, postmortem. Pukul 5:20 sore: seorang insinyur mengambil snapshot produksi untuk menguji penyeimbang beban di staging. Pukul 7 malam: spam membanjiri database, ditambah pekerjaan menghapus karyawan GitLab yang dilaporkan oleh troll karena penyalahgunaan. Pukul 11 malam: replika tertinggal begitu jauh sehingga primer telah membuang

0:48 log yang dibutuhkannya; satu-satunya perbaikan adalah menghapus replika dan menyalin primer lagi. pg_basebackup macet tanpa keluaran. Sebenarnya menunggu, diam-diam, untuk primer; tidak ada yang tahu itu, dan runbook tidak mengatakannya. Insinyur, yang bermaksud untuk keluar pada pukul sebelas, memutuskan direktori data kosong adalah masalahnya dan menghapusnya. Di db1. Primer. Dia menyadarinya satu atau dua detik kemudian; dari sekitar tiga ratus gigabyte,

1:11 tersisa 4.5. Cadangan. Satu: pg_dump ke S3, setiap hari. Bucketnya kosong. Pekerjaan cron berjalan di server aplikasi tanpa database, jadi paket memilih biner PostgreSQL 9.2 untuk database 9.6, gagal, dan mengirim email kegagalan, yang memantul karena DMARC hilang. Dua: snapshot disk Azure, diaktifkan untuk server file, bukan database.

1:32 Tiga: replika, sengaja dihapus satu jam yang lalu. Empat: snapshot harian, berusia 24 jam, setiap webhook dihapus oleh sinkronisasi staging. Lima: snapshot manual dari pukul 5:20, untuk pengujian yang tidak terkait. Yang itu menang. Memulihkan berarti menyalin disk staging kembali ke produksi melalui penyimpanan murah Azure dengan enam puluh megabit per detik: delapan belas jam. GitLab dot com kembali 1 Februari pukul enam sore. UTC, enam jam data lebih lama.

1:58 git blame: dua nama host yang berbeda satu karakter, dan lima sistem cadangan yang tidak pernah dipulihkan oleh siapa pun. Bukan insinyur. Postmortem, ditandatangani oleh CEO, menjaga anonimitasnya, mewarnai prompt produksi merah, dan memberikan pemilik durabilitas data, karena sampai sekarang tidak ada. Radius ledakan: delapan belas jam down, enam jam data hilang, sekitar lima ribu proyek, lima ribu komentar,

2:18 tujuh ratus pengguna baru, dan lima ribu orang menonton bilah kemajuan. Hacker News memberikan dokumen langsung 1.162 poin dan mengutip satu baris kembali kepada mereka: dari lima cadangan, tidak ada. Putusan, postmortem: ship it, pada responsnya. Mereka menjalankan insiden secara publik, menyalahkan prosesnya, dan memublikasikan daftar perbaikan dengan nomor masalah. Tindakan Senin: pulihkan cadangan. Jika Anda belum pernah memulihkannya, Anda tidak memilikinya.

2:42 Kirimkan insiden yang masih belum boleh Anda bicarakan kepada saya, di komentar, atau di the daily diff dot dev. Dan itulah perbedaannya untuk hari ini. Saya Niko dari Axrisi. Gabungkan dengan bertanggung jawab.

Sumber

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Video terkait