+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud gik ned på et blankt felt. Tre timer.

En politikrække med et par tomme felter rammer en null-pointer, og Google Cloud går ned i alle regioner på én gang – hvorefter Cloudflare følger med.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

En politikrække med et par tomme felter rammer en null-pointer, og Google Cloud går ned i alle regioner på én gang – hvorefter Cloudflare følger med. 12. juni 2025, 17:49 UTC: Service Control, den binære fil, der godkender hver Google Cloud API-anmodning, læser en ændring i kvotapolitikken med "utilsigtede tomme felter", rammer en kodesti, der blev sendt to uger tidligere uden null-tjek og uden funktionsflag, og går ind i en nedbrudssløjfe i hver region – rækken var replikeret globalt inden for få sekunder. Eksterne API'er returnerer 503 i tre timer; us-central1 tager 2 timer og 40 minutter, fordi de genstartende opgaver maser den samme Spanner-tabel uden randomiseret backoff. Tre minutter inde i Googles nedbrud mister Cloudflare's Workers KV – hvis sandhedskilde sidder på "en tredjeparts cloud-udbyder" – 90 % af anmodningerne, og Access, WARP, Workers AI, Pages, Stream og Turnstile går ned med det i 2 timer og 28 minutter. Googles statussside poster sin første opdatering en time for sent, fordi den kører på Google Cloud.

Læs den skriftlige udgave (engelsk) ↗

Hvad denne video dækker

  • Et tomt felt, en null-pointer, alle regioner
  • Tidslinje: 29. maj → 17:45 → nedbrudssløjfe → rød knap → 17:52 Cloudflare
  • us-central1: flok-effekten
  • Mekanisme: tjek i anmodningssti, global replikering, én leverandør
  • git blame — opdelingen

Spørgsmål og svar

Hvad forårsagede Google Cloud-nedbruddet den 12. juni 2025?

En kvotepolitik-række med tomme felter fik Service Control, den binære fil, der godkender hver Google Cloud API-anmodning, til at gå ned. Ifølge Googles hændelsesrapport ramte rækken en kodesti uden nulcheck og uden en funktionsflag, og den binære fil gik i en nedbrudsløkke i alle regioner. Eksterne API'er returnerede 503-fejl i cirka tre timer.

Se denne del 0:32 · status.cloud.google.com

Hvorfor kan genstart af tjenester få et cloud-nedbrud til at vare længere i en region?

Mange opgaver, der genstartes på én gang, kan overbelaste den samme delte database. I us-central1 stormede Googles genstartende opgaver en Spanner-tabel uden randomiseret backoff, så Google droslede dem manuelt. Denne region tog to timer og fyrre minutter at komme sig, mens andre regioner kom sig inden 19:48.

Se denne del 1:32 · status.cloud.google.com

Hvorfor svigtede Cloudflare-tjenesterne, da Google Cloud gik ned?

Cloudflares Workers KV opbevarede sin sandhedskilde hos en tredjeparts cloud-udbyder. Ifølge Cloudflare mistede Workers KV 90% af anmodningerne, og Access, WARP, Workers AI, Pages, Stream og Turnstile gik ned med den i 2 timer og 28 minutter. Episoden bemærker, at Workers KV var midt i en migration til Cloudflares egen R2-lagring.

Se denne del 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Hvordan kan teams forhindre en dårlig konfigurationsrække i at crashe en tjeneste i hver region?

Tre praksisser følger af denne hændelse. Hold ny kode bag et funktionsflag, der sendes ud, kontroller for null, hvor data indtastes, og iscenesæt kvotadata i stedet for at replikere dem globalt på én gang. Googles rapport siger, at et flag ville have fanget fejlen under iscenesættelse, og dens løsninger inkluderer fail open og eksponentiel backoff.

Se denne del 1:43 · status.cloud.google.com

Sætter Google Cloud- og Cloudflare-postmortems fra 12. juni et godt eksempel for hændelsesrapporter?

The Daily Diffs dom var SHIP IT. Begge postmortems landede inden for tredive timer, og begge bebrejdede deres egne virksomheder. Googles rettelser var konkrete, nemlig fail open, flags off by default og eksponentiel backoff. Læren til mandag er at sende ny kode bag et flag, der starter fra.

Se denne del 2:33 · status.cloud.google.com · blog.cloudflare.com

Oversat udskrift

Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube.

Et tomt felt, en null-pointer, alle regioner

0:00 En politikrække med tomme felter rammer en null-pointer, og Google Cloud går ned i alle regioner på én gang — og Cloudflare følger med, kalder derefter Google "en tredjepartsudbyder". 12. juni 2025, 17:49 UTC. Googles rapport: Service Control, den binære fil, der godkender hver API-anmodning, i en nedbrudssløjfe i tre timer. Cloudflares, samme aften: Workers KV, halvfems procent fejler, to timer otteogtyve.

0:23 Hvordan det skete, hvorfor ét tomt felt blev globalt på få sekunder, og hvem der får skylden. Dette er The Daily Diff, postmortem. 29. maj. Service Control får et nyt kvotatjek, afsendt region for region med en

Tidslinje: 29. maj → 17:45 → nedbrudssløjfe → rød knap → 17:52 Cloudflare

0:35 rød knap — men den nye kodesti kører aldrig under udrulning; intet udløser det endnu. Intet null-tjek. Intet funktionsflag. 17:45. En politikændring med tomme felter lander i Spanner-tabellen. Kvote er global, så rækken replikeres overalt inden for få sekunder. Hver Service Control-binær læser den, rammer null-pointeren, går ned, genstarter, læser den igen. Hvert API-kald: 503.

0:55 Google er hurtig: triage på to minutter, årsag på ti. Den røde knap er ude på fyrre, og små regioner genopretter sig først. Statussiden poster sin første opdatering en time inde, fordi den kører på Google Cloud. 17:52. Cloudflares WARP-team ser nye enheder mislykkes med at registrere. Workers KV, den butikshalvdel Cloudflare bruger til konfiguration og identitet, lever på en tredjeparts cloud. Access fejler hvert login — efter design fejler den lukket.

1:20 Workers AI fejler hver inferens. 19:11, Gergely Orosz: to uafhængige clouds nede på én gang, aldrig set før. 19:32, Google support fortæller en bruger, at der ikke er kendte forstyrrelser — prøv at rydde dine cookies. Alle andre genopretter sig inden 19:48.

us-central1: flok-effekten

1:34 us-central1 gør ikke: genstartende opgaver maser den samme Spanner-tabel, ingen randomiseret backoff, så Google begrænser dem manuelt. To timer fyrre. Ét: politikktjekket sidder inde i anmodningsstien; når tjekket dør,

Mekanisme: tjek i anmodningssti, global replikering, én leverandør

1:46 dør API'en. To: kvotedata bliver globale uden staging; en dårlig række er en global række. Tre: Cloudflare vidste det. Workers KV var midt i en migration til sin egen R2, ned til én udbyder — postmortem kalder det et hul i dækningen.

git blame — opdelingen

2:00 git blame. Google, femoghalvtreds procent: intet null-tjek, intet feature-flag, ingen backoff — deres rapport siger, at et flag ville have fanget det i staging. Global replikering, tyve: én række, hver region, sekunder. Cloudflare, tyve: halvdelen af en produktlinje på én leverandørs butik, og en postmortem, der aldrig siger Google. Statussiden, fem, for at leve på det, den rapporterer om. Eksplosionsradius: halvfjerds Google Cloud-produkter, ti Workspace-apps,

Eksplosionsradius

2:23 hver region. Tre timer. Hos Cloudflare: Access, WARP, Workers AI, Pages, Stream — to og en halv. Hacker News, fjorten hundrede point; topkommentar: statussiden er grøn.

Dom + mandagslinjen

2:33 Dom, postmortem: SHIP IT. Begge postmortems lander inden for tredive timer, begge skyder skylden på sig selv, og Googles rettelser er konkrete: fail open, flag slået fra som standard, eksponentiel backoff. Mandagslinjen: ny kode bag et flag, der sendes fra, og et null-tjek, hvor dataene kommer ind. Send mig den hændelse, du stadig ikke må tale om, i kommentarerne, eller på the daily diff dot dev. Og det er The Daily Diff for i dag.

2:53 Jeg er Niko fra Axrisi. Merge responsibly.

Kilder

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Relaterede videoer