Google Cloud krasjet på et blankt felt. Tre timer.
En policyrad med noen få blanke felt treffer en null-peker, og Google Cloud krasjer i alle regioner samtidig — deretter faller Cloudflare med den.
En policyrad med noen få blanke felt treffer en null-peker, og Google Cloud krasjer i alle regioner samtidig — deretter faller Cloudflare med den. 12. juni 2025, 17:49 UTC: Service Control, den binære filen som godkjenner hver eneste Google Cloud API-forespørsel, leser en kvotepolicyendring med "utilsiktede blanke felt", treffer en kodesti som ble levert to uker tidligere uten nullsjekk og uten funksjonsflagg, og går inn i en krasj-loop i alle regioner — raden hadde replikert globalt i løpet av sekunder. Eksterne API-er returnerer 503 i tre timer; us-central1 tar 2 t 40 min fordi de gjenstartende oppgavene stormer den samme Spanner-tabellen uten randomisert tilbakekobling. Tre minutter inn i Googles driftsstans mister Cloudflares Workers KV — hvis sannhetskilde ligger hos "en tredjeparts sky-leverandør" — 90 % av forespørslene, og Access, WARP, Workers AI, Pages, Stream og Turnstile går ned med den i 2 t 28 min. Googles statusside publiserer sin første oppdatering en time for sent, fordi den kjører på Google Cloud.
Les den skriftlige utgaven (engelsk) ↗
Hva denne videoen dekker
- Et blankt felt, en null-peker, hver region
- Tidslinje: 29. mai → 17:45 → krasj-loop → rød knapp → 17:52 Cloudflare
- us-central1: flokkeeffekten
- Mekanisme: sjekk i forespørselsbanen, global replikering, én leverandør
- git blame — splittelsen
Oversatt transkripsjon
Oversatt fra den originale engelske fortellingen. Tilgjengelig lyd og undertekster kontrolleres av YouTube.
Et blankt felt, en null-peker, hver region
0:00 En policyrad med blanke felt treffer en null-peker, og Google Cloud krasjer i hver region samtidig — og Cloudflare faller med den, og kaller deretter Google "en tredjepartsleverandør". 12. juni 2025, 17:49 UTC. Googles rapport: Service Control, den binære filen som godkjenner hver API-forespørsel, i en krasj-loop i tre timer. Cloudflares, samme kveld: Workers KV, nitti prosent feiler, to timer tjueåtte minutter.
0:23 Hvordan det skjedde, hvorfor ett blankt felt ble globalt på sekunder, og hvem som får skylden. Dette er The Daily Diff, postmortem. 29. mai. Service Control får en ny kvotasjekk, levert region for region med en
Tidslinje: 29. mai → 17:45 → krasj-loop → rød knapp → 17:52 Cloudflare
0:35 rød knapp — men den nye kodestien kjører aldri under utrulling; ingenting utløser den ennå. Ingen nullsjekk. Ingen funksjonsflagg. 17:45. En policyendring med blanke felt lander i Spanner-tabellen. Kvota er global, så raden replikerer overalt i løpet av sekunder. Hver Service Control-binære fil leser den, treffer null-pekeren, krasjer, starter på nytt, leser den igjen. Hvert API-kall: 503.
0:55 Google er rask: triage på to minutter, rotårsak på ti. Den røde knappen er ute på førti, og små regioner gjenopprettes først. Statussiden publiserer sin første oppdatering en time etter, fordi den kjører på Google Cloud. 17:52. Cloudflares WARP-team ser nye enheter feile å registrere seg. Workers KV, lagret som halvparten av Cloudflare bruker til konfigurasjon og identitet, lever på en tredjeparts sky. Access feiler hver innlogging — per design feiler den lukket.
1:20 Workers AI feiler hver inferens. 19:11, Gergely Orosz: to uavhengige skyer nede samtidig, aldri sett før. 19:32, Google support forteller en bruker at det ikke er kjente forstyrrelser — prøv å tømme informasjonskapslene dine. Alle andre gjenopprettes innen 19:48.
us-central1: flokkeeffekten
1:34 us-central1 gjør det ikke: gjenstartende oppgaver stormer den samme Spanner-tabellen, ingen randomisert tilbakekobling, så Google struper dem manuelt. To timer førti minutter. Én: policy-sjekken sitter inne i forespørselsbanen; når sjekken dør,
Mekanisme: sjekk i forespørselsbanen, global replikering, én leverandør
1:46 dør API-et. To: kvotadata går globalt uten staging; en dårlig rad er en global rad. Tre: Cloudflare visste. Workers KV var midt i migreringen til sin egen R2, ned til én leverandør — den postmortem kaller det et dekningsgap.
git blame — splittelsen
2:00 git blame. Google, femtifem prosent: ingen nullsjekk, ingen funksjonsflagg, ingen tilbakekobling — rapporten deres sier at et flagg ville fanget det i staging. Global replikering, tjue prosent: én rad, hver region, sekunder. Cloudflare, tjue prosent: en halv produktlinje på én leverandørs lagring, og en postmortem som aldri sier Google. Statussiden, fem prosent, for å leve på det den rapporterer om. Eksplosjonsradius: sytti Google Cloud-produkter, ti Workspace-apper,
Eksplosjonsradius
2:23 hver region. Tre timer. Hos Cloudflare: Access, WARP, Workers AI, Pages, Stream — to og en halv. Hacker News, fjorten hundre poeng; toppkommentar: statussiden er grønn.
Dom + mandagslinjen
2:33 Dom, postmortem: SHIP IT. Begge postmortem-rapportene lander innen tretti timer, begge skylder på seg selv, og Googles løsninger er konkrete: fail open, flagg av som standard, eksponentiell tilbakekobling. Mandagslinjen: ny kode bak et flagg som sendes av, og en nullsjekk der data kommer inn. Send meg hendelsen du fortsatt ikke får snakke om, i kommentarene, eller på the daily diff dot dev. Og det er The Daily Diff for i dag.
2:53 Jeg er Niko fra Axrisi. Merge responsibly.
Kilder
- Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
- Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
- Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
- Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
- @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
- Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
- Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
- Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
- Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com
