+− THE DAILY DIFFdev & AI news
SHIP IT

一名工程师删除了GitLab的生产数据库。300千兆字节。

2017年1月31日,世界标准时间23:27:一名GitLab工程师在漫长夜晚的最后阶段与一个损坏的副本作斗争,结果在db1而不是db2上删除了PostgreSQL数据目录。

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2017年1月31日,世界标准时间23:27:一名GitLab工程师在漫长夜晚的最后阶段与一个损坏的副本作斗争,结果在db1而不是db2上删除了PostgreSQL数据目录。db1是主数据库。GitLab.com的大约300 GB数据库在短短一两秒钟内消失了,而且五种备份和复制机制都没有工作。事后分析:从垃圾邮件高峰到错误的主机名的时间线,为什么pg_basebackup看起来卡住了,为什么pg_dump一直静默失败(9.2二进制文件在9.6数据库上,失败的电子邮件被DMARC退回),从6小时前的暂存快照进行18小时恢复并在YouTube上直播,以及谁真正应该承担责任。对响应的裁决:SHIP IT。

阅读书面版(英文) ↗

本视频涵盖的内容

  • 2017年1月31日:在主数据库的数据目录上执行rm -Rvf;删除了约300 GB,剩下4.5 GB
  • 5个备份全部失败:S3存储桶为空(pg_dump版本不匹配),数据库上没有Azure快照,副本被擦除,每日LVM副本没有webhooks
  • 2月1日,世界标准时间18:00:GitLab.com从6小时前的手动快照中恢复;有实时文档、实时流,以及附带修复列表的无指责事后分析

常见问题

2017年GitLab.com生产数据库删除事件发生了什么?

2017年1月31日晚些时候,一名GitLab工程师在尝试修复损坏的副本时,误将db1上的PostgreSQL数据目录删除,而不是db2。db1是主数据库。在约300 GB的数据中,只剩下4.5 GB。GitLab发布推文称其意外删除了生产数据,公开了其事故记录,并在YouTube上直播了恢复过程。

about.gitlab.com · about.gitlab.com · twitter.com

为什么GitLab的五种备份和复制机制在需要时都没有起作用?

根据GitLab的事后分析,每日的pg_dump到S3一直失败,因为cron作业为9.6数据库选择了PostgreSQL 9.2二进制文件,并且其失败邮件因缺少DMARC而被退回。Azure快照覆盖了文件服务器,但未覆盖数据库。副本被故意擦除,每日快照的webhooks也被剥离。只有一个为不相关测试而拍摄的手动快照幸存下来。

about.gitlab.com · about.gitlab.com

为什么恢复GitLab.com大约花了18个小时?

恢复意味着通过Azure的廉价存储以每秒六十兆比特的速度将暂存磁盘复制回生产环境,这花了18个小时。GitLab.com于2月1日世界标准时间18:00恢复,使用了六小时前的手动快照。根据该事件,这次中断造成了六小时的数据损失,大约五千个项目、五千条评论和七百个新用户。

about.gitlab.com · about.gitlab.com

为什么无指责的事后分析侧重于流程而不是执行命令的工程师?

由CEO签署的GitLab事后分析保持了工程师的匿名性,并将失败归因于两个只差一个字符的主机名以及五个从未有人恢复过的备份系统。它将生产提示涂成红色,并为数据持久性指定了负责人,因为在此之前它没有。修复列表与问题编号一起发布。

about.gitlab.com · news.ycombinator.com

团队应该从GitLab的数据库事件中吸取什么教训,GitLab的应对是否明智?

The Daily Diff的裁决是SHIP IT,关于应对方面。GitLab公开处理了该事件,归咎于流程,并发布了带有问题编号的修复列表。该事件的周一行动是恢复备份,因为从未恢复过的备份不能算作备份。Hacker News给实时事件文档打了1,162分。

about.gitlab.com · news.ycombinator.com

翻译的文字记录

译自英文原版旁白。可用音频和字幕由 YouTube 控制。

0:00 GitLab的一名工程师在错误的数据库服务器上运行了rm -rf, GitLab.com的三百千兆字节数据在一两秒钟内消失了, 大约是读取一个主机名所需的时间。 2017年1月31日晚上11:27, UTC时间。GitLab发推文称其意外删除了生产数据, 向互联网公开了其事件笔记,并在YouTube上直播了恢复过程, 成为该平台上第二大直播。 第二天,书面记录显示:五种备份技术中,

0:25 没有一种能可靠地工作。 它是如何发生的,为什么会发生,以及谁真正应该承担责任。 这里是The Daily Diff,事后分析。 下午5:20:一名工程师拍摄生产快照, 以在暂存环境中测试负载均衡器。 晚上7点:垃圾邮件攻击数据库,加上一项硬删除GitLab员工的作业,该员工因被 巨魔举报滥用而被删除。 晚上11点:副本落后太多,主数据库已经丢弃了

0:48 所需的日志;唯一的解决方法是擦除副本并再次复制主数据库。 pg_basebackup挂起,没有输出。 它实际上在静默地等待主数据库;没有人知道这一点, 操作手册也没有说明。 本想在11点下班的工程师,认为空数据目录 是问题所在,并将其删除。 在db1上。主数据库。 一两秒后他注意到了;大约三百千兆字节的数据中,

1:11 剩下4.5个。备份。 一:每日pg_dump到S3。 存储桶是空的。 cron作业在没有数据库的应用程序服务器上运行,所以该软件包选择了 用于9.6数据库的PostgreSQL 9.2二进制文件,失败了,并发送了 失败邮件,该邮件因缺少DMARC而被退回。 二:Azure磁盘快照,为文件服务器启用, 而不是数据库。

1:32 三:副本,一小时前故意擦除。 四:每日快照,24小时前,所有webhooks都被 暂存同步剥离。五:下午5:20的手动快照,用于不相关的测试。 这个成功了。 恢复意味着以每秒六十兆比特的速度,通过Azure的廉价存储将暂存磁盘复制回生产环境:十八小时。 这需要十八小时。 GitLab.com于2月1日晚上6点恢复, UTC时间,数据比原来旧了六小时。

1:58 git blame:两个主机名只差一个字符,以及五个从未有人 恢复过的备份系统。 不是工程师的错。 由CEO签署的事后分析,保持他的匿名性, 将生产提示框涂成红色,并为数据持久性指定了负责人, 因为在此之前它没有负责人。 影响范围:停机十八小时,丢失六小时数据, 大约五千个项目,五千条评论,

2:18 七百个新用户,以及五千人观看进度条。 Hacker News给实时文档打了1,162分,并引用了一 句话来回应他们:五个备份中,没有一个可用。 事后分析的结论:关于响应,SHIP IT。 他们公开处理事件,归咎于流程,并发布了带有问题编号的修复列表。 与问题编号。 周一行动:恢复备份。 如果你从未恢复过,你就没有备份。

2:42 在评论中,或者在thedailydiff.dev,把你不被允许谈论的事件发给我。 在评论中,或者在thedailydiff.dev。 这就是今天的差异。 我是Axrisi的Niko。 负责任地合并。

来源

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

相关视频

postmortem · zh-CN · 2026年9月9日

AI 删除了生产数据库。九秒。

一个 AI 编程代理(运行 Claude Opus 4.6 的 Cursor)在暂存环境中遇到凭证不匹配,并通过使用它在一个不相关文件中找到的账户范围令牌,在 Railway 上调用 volumeDelete 来“修复”它。生产数据库和所有卷备份在九秒内消失。事后分析:时间线,确切的 curl 命令,导致这种情况发生的三项架构事实(备份在同一卷上,根范围令牌,一个没有仪表板 48 小时撤销功能的

3:23 ↗
postmortem · zh-CN · 2026年9月22日

一次重启让Telstra回到了2006年。九百万部手机受到影响。

墨尔本的一名工程师在凌晨2:50重新启动了一个时序机箱,到早餐时间,澳大利亚最大的移动网络竟然认为现在是2006年11月。2026年7月8日:Telstra的NTP机箱中的一张GPS卡在电源维修期间重启,其固件从未进行过GPS周翻转更新,因此它选择了旧的纪元,回到了1024周之前。由于2025年10月的一个权宜之计,这张卡成为了网络中唯一的层级1(stratum-1)时间源——并且2020年切换到

3:15 ↗
postmortem · zh-CN · 2026年9月19日

Google Cloud 因空白字段而崩溃。历时三小时。

一个包含几个空白字段的策略行触发了一个空指针,导致 Google Cloud 所有区域同时崩溃,随后 Cloudflare 也随之瘫痪。2025 年 6 月 12 日,世界标准时间 17:49:Service Control(批准每个 Google Cloud API 请求的二进制文件)读取了一个配额策略变更,其中包含“意外的空白字段”,触发了两周前发布的代码路径(没有空检查和功能标志),并进入了

2:57 ↗