一名工程师删除了GitLab的生产数据库。300千兆字节。
2017年1月31日,世界标准时间23:27:一名GitLab工程师在漫长夜晚的最后阶段与一个损坏的副本作斗争,结果在db1而不是db2上删除了PostgreSQL数据目录。
2017年1月31日,世界标准时间23:27:一名GitLab工程师在漫长夜晚的最后阶段与一个损坏的副本作斗争,结果在db1而不是db2上删除了PostgreSQL数据目录。db1是主数据库。GitLab.com的大约300 GB数据库在短短一两秒钟内消失了,而且五种备份和复制机制都没有工作。事后分析:从垃圾邮件高峰到错误的主机名的时间线,为什么pg_basebackup看起来卡住了,为什么pg_dump一直静默失败(9.2二进制文件在9.6数据库上,失败的电子邮件被DMARC退回),从6小时前的暂存快照进行18小时恢复并在YouTube上直播,以及谁真正应该承担责任。对响应的裁决:SHIP IT。
本视频涵盖的内容
- 2017年1月31日:在主数据库的数据目录上执行rm -Rvf;删除了约300 GB,剩下4.5 GB
- 5个备份全部失败:S3存储桶为空(pg_dump版本不匹配),数据库上没有Azure快照,副本被擦除,每日LVM副本没有webhooks
- 2月1日,世界标准时间18:00:GitLab.com从6小时前的手动快照中恢复;有实时文档、实时流,以及附带修复列表的无指责事后分析
常见问题
2017年GitLab.com生产数据库删除事件发生了什么?
2017年1月31日晚些时候,一名GitLab工程师在尝试修复损坏的副本时,误将db1上的PostgreSQL数据目录删除,而不是db2。db1是主数据库。在约300 GB的数据中,只剩下4.5 GB。GitLab发布推文称其意外删除了生产数据,公开了其事故记录,并在YouTube上直播了恢复过程。
为什么GitLab的五种备份和复制机制在需要时都没有起作用?
根据GitLab的事后分析,每日的pg_dump到S3一直失败,因为cron作业为9.6数据库选择了PostgreSQL 9.2二进制文件,并且其失败邮件因缺少DMARC而被退回。Azure快照覆盖了文件服务器,但未覆盖数据库。副本被故意擦除,每日快照的webhooks也被剥离。只有一个为不相关测试而拍摄的手动快照幸存下来。
为什么恢复GitLab.com大约花了18个小时?
恢复意味着通过Azure的廉价存储以每秒六十兆比特的速度将暂存磁盘复制回生产环境,这花了18个小时。GitLab.com于2月1日世界标准时间18:00恢复,使用了六小时前的手动快照。根据该事件,这次中断造成了六小时的数据损失,大约五千个项目、五千条评论和七百个新用户。
为什么无指责的事后分析侧重于流程而不是执行命令的工程师?
由CEO签署的GitLab事后分析保持了工程师的匿名性,并将失败归因于两个只差一个字符的主机名以及五个从未有人恢复过的备份系统。它将生产提示涂成红色,并为数据持久性指定了负责人,因为在此之前它没有。修复列表与问题编号一起发布。
团队应该从GitLab的数据库事件中吸取什么教训,GitLab的应对是否明智?
The Daily Diff的裁决是SHIP IT,关于应对方面。GitLab公开处理了该事件,归咎于流程,并发布了带有问题编号的修复列表。该事件的周一行动是恢复备份,因为从未恢复过的备份不能算作备份。Hacker News给实时事件文档打了1,162分。
翻译的文字记录
译自英文原版旁白。可用音频和字幕由 YouTube 控制。
0:00 GitLab的一名工程师在错误的数据库服务器上运行了rm -rf, GitLab.com的三百千兆字节数据在一两秒钟内消失了, 大约是读取一个主机名所需的时间。 2017年1月31日晚上11:27, UTC时间。GitLab发推文称其意外删除了生产数据, 向互联网公开了其事件笔记,并在YouTube上直播了恢复过程, 成为该平台上第二大直播。 第二天,书面记录显示:五种备份技术中,
0:25 没有一种能可靠地工作。 它是如何发生的,为什么会发生,以及谁真正应该承担责任。 这里是The Daily Diff,事后分析。 下午5:20:一名工程师拍摄生产快照, 以在暂存环境中测试负载均衡器。 晚上7点:垃圾邮件攻击数据库,加上一项硬删除GitLab员工的作业,该员工因被 巨魔举报滥用而被删除。 晚上11点:副本落后太多,主数据库已经丢弃了
0:48 所需的日志;唯一的解决方法是擦除副本并再次复制主数据库。 pg_basebackup挂起,没有输出。 它实际上在静默地等待主数据库;没有人知道这一点, 操作手册也没有说明。 本想在11点下班的工程师,认为空数据目录 是问题所在,并将其删除。 在db1上。主数据库。 一两秒后他注意到了;大约三百千兆字节的数据中,
1:11 剩下4.5个。备份。 一:每日pg_dump到S3。 存储桶是空的。 cron作业在没有数据库的应用程序服务器上运行,所以该软件包选择了 用于9.6数据库的PostgreSQL 9.2二进制文件,失败了,并发送了 失败邮件,该邮件因缺少DMARC而被退回。 二:Azure磁盘快照,为文件服务器启用, 而不是数据库。
1:32 三:副本,一小时前故意擦除。 四:每日快照,24小时前,所有webhooks都被 暂存同步剥离。五:下午5:20的手动快照,用于不相关的测试。 这个成功了。 恢复意味着以每秒六十兆比特的速度,通过Azure的廉价存储将暂存磁盘复制回生产环境:十八小时。 这需要十八小时。 GitLab.com于2月1日晚上6点恢复, UTC时间,数据比原来旧了六小时。
1:58 git blame:两个主机名只差一个字符,以及五个从未有人 恢复过的备份系统。 不是工程师的错。 由CEO签署的事后分析,保持他的匿名性, 将生产提示框涂成红色,并为数据持久性指定了负责人, 因为在此之前它没有负责人。 影响范围:停机十八小时,丢失六小时数据, 大约五千个项目,五千条评论,
2:18 七百个新用户,以及五千人观看进度条。 Hacker News给实时文档打了1,162分,并引用了一 句话来回应他们:五个备份中,没有一个可用。 事后分析的结论:关于响应,SHIP IT。 他们公开处理事件,归咎于流程,并发布了带有问题编号的修复列表。 与问题编号。 周一行动:恢复备份。 如果你从未恢复过,你就没有备份。
2:42 在评论中,或者在thedailydiff.dev,把你不被允许谈论的事件发给我。 在评论中,或者在thedailydiff.dev。 这就是今天的差异。 我是Axrisi的Niko。 负责任地合并。
来源
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



