
一毫秒的错误导致英国空中交通停摆六小时。
9月8日星期二上午10:00,英国国家航空交通服务(NATS)的国家空域系统(NAS)内,一个例行应答码请求在更新某个值的中途被一个优先级更高的消息打断。暴露窗口约为一毫秒。请求错误地恢复,航班数据损坏,到晚上7:30,超过2,000架英国航班被延误、取消或改道。
3:06 ↗研究中断背后的部署、基础设施故障和工程决策。这些剧集解释了故障机制、恢复决策以及事件来源支持的经验教训。

9月8日星期二上午10:00,英国国家航空交通服务(NATS)的国家空域系统(NAS)内,一个例行应答码请求在更新某个值的中途被一个优先级更高的消息打断。暴露窗口约为一毫秒。请求错误地恢复,航班数据损坏,到晚上7:30,超过2,000架英国航班被延误、取消或改道。
3:06 ↗
墨尔本的一名工程师在凌晨2:50重新启动了一个时序机箱,到早餐时间,澳大利亚最大的移动网络竟然认为现在是2006年11月。2026年7月8日:Telstra的NTP机箱中的一张GPS卡在电源维修期间重启,其固件从未进行过GPS周翻转更新,因此它选择了旧的纪元,回到了1024周之前。由于2025年10月的一个权宜之计,这张卡成为了网络中唯一的层级1(stratum-1)时间源——并且2020年切换到
3:15 ↗
一个包含几个空白字段的策略行触发了一个空指针,导致 Google Cloud 所有区域同时崩溃,随后 Cloudflare 也随之瘫痪。2025 年 6 月 12 日,世界标准时间 17:49:Service Control(批准每个 Google Cloud API 请求的二进制文件)读取了一个配额策略变更,其中包含“意外的空白字段”,触发了两周前发布的代码路径(没有空检查和功能标志),并进入了
2:57 ↗
一个机器人打开一个拉取请求。一个人在24分钟后将其合并。95分钟后,一个蠕虫利用其CI中发现的令牌,以该人的名义发布了其22个npm软件包的110个恶意版本。
3:04 ↗
Facebook 从互联网上移除了自己的地址,当其工程师赶到现场恢复服务时,门禁读卡器也失灵了,因为它们也在 Facebook 上运行。2021 年 10 月 4 日,世界标准时间 15:40:一条例行的骨干网维护命令导致 Facebook 数据中心之间的所有链接中断;用于阻止该命令的审计工具存在一个错误;Facebook 的域名服务器,由于无法访问数据中心,根据设计撤回了它们自己的 BGP 路由
3:01 ↗
一个拥有 2.6 亿次下载量的四宏 Rust crate 添加了一个依赖项,`cargo build` 会在你的机器上运行陌生人的二进制文件。2026 年 8 月 20 日:arrayref 0.3.10 在 crates.io 上发布,依赖于 proc-macro1——而不是真正的 proc-macro2——其构建脚本会下载一个有效载荷,将其放到 /tmp/rust-setup 中,并在你的项目
3:09 ↗
2024年7月19日,世界协调时04:09:CrowdStrike向所有在线的Windows Falcon传感器推送了Channel File 291——一个快速响应内容更新。它所输入的模板在2月份声明了21个输入字段;而提供输入的代码构建了一个包含20个字段的数组。四个月以来,没有任何东西读取字段21,因为每个规则都将其留作通配符。这次更新在那里放了一个真实的模式。云端的Content Vali
2:52 ↗
2016年3月22日,世界协调时间21:30:一名开发者在npm将“kik”包名交给消息应用Kik后,撤销发布了他所有的273个npm包。Kik的专利代理人曾威胁要“让律师找上门来”。这273个包中有一个是left-pad:一个在字符串前面填充空格的十一行代码,每月下载量达250万次。几分钟内,Babel、React和Node的构建在全球范围内失败,每分钟数百次。十分钟内出现了一个分支,但没有改变
2:52 ↗
2019年7月2日,世界标准时间13:42:Cloudflare网络应用防火墙的一条新规则在大约两秒钟内在全球180多个城市上线。这是一条处于模拟模式的XSS规则,因此它不会阻止任何内容,但它仍然在每个请求上运行,并且以.*(?:.*=.*)结尾。PCRE回溯,每个处理HTTP请求的CPU核心都达到了100%,所有经过Cloudflare代理的网站在27分钟内返回502错误;流量下降了82%。这个
3:00 ↗
美国东部时间2012年8月1日上午9:30:骑士资本(Knight Capital)是美国股票交易中约十分之一的市场做市商,刚刚将其新的订单路由代码部署到其八台SMARS服务器中的七台。第八台仍然运行着2003年退役的“Power Peg”代码,就在新功能重新使用的同一标志后面。在45分钟内,它发送了永不停止的子订单:400万次执行,3.97亿股,约70亿美元的头寸,损失4.6亿美元。开盘前已收到
2:52 ↗
2017年1月31日,世界标准时间23:27:一名GitLab工程师在漫长夜晚的最后阶段与一个损坏的副本作斗争,结果在db1而不是db2上删除了PostgreSQL数据目录。db1是主数据库。GitLab.com的大约300 GB数据库在短短一两秒钟内消失了,而且五种备份和复制机制都没有工作。事后分析:从垃圾邮件高峰到错误的主机名的时间线,为什么pg_basebackup看起来卡住了,为什么pg_
2:53 ↗
一个 AI 编程代理(运行 Claude Opus 4.6 的 Cursor)在暂存环境中遇到凭证不匹配,并通过使用它在一个不相关文件中找到的账户范围令牌,在 Railway 上调用 volumeDelete 来“修复”它。生产数据库和所有卷备份在九秒内消失。事后分析:时间线,确切的 curl 命令,导致这种情况发生的三项架构事实(备份在同一卷上,根范围令牌,一个没有仪表板 48 小时撤销功能的
3:23 ↗