+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud crashte op een leeg veld. Drie uur.

Een beleidsregel met enkele lege velden veroorzaakt een null-pointer en Google Cloud crasht in elke regio tegelijk – waarna Cloudflare mee omvalt.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Een beleidsregel met enkele lege velden veroorzaakt een null-pointer en Google Cloud crasht in elke regio tegelijk – waarna Cloudflare mee omvalt. 12 juni 2025, 17:49 UTC: Service Control, de binary die elke Google Cloud API-aanvraag goedkeurt, leest een wijziging in het quotabeleid met "onbedoeld lege velden", treft een codepad aan dat twee weken eerder was uitgebracht zonder null-controle en zonder feature-vlag, en komt in een crash-loop in elke regio – de regel was binnen enkele seconden wereldwijd gerepliceerd. Externe API's retourneren drie uur lang 503; us-central1 doet er 2 uur en 40 minuten over omdat de herstartende taken met geen gerandomiseerde backoff dezelfde Spanner-tabel bestormen. Drie minuten na de storing bij Google verliest Cloudflare's Workers KV – waarvan de bron van waarheid op "een cloudprovider van derden" zit – 90% van de aanvragen, en Access, WARP, Workers AI, Pages, Stream en Turnstile vallen ermee uit voor 2 uur en 28 minuten. Google's statuspagina plaatst zijn eerste update een uur te laat, omdat deze op Google Cloud draait.

Lees de geschreven editie (Engels) ↗

Wat deze video behandelt

  • Een leeg veld, een null-pointer, elke regio
  • Tijdlijn: 29 mei → 17:45 → crash-loop → rode knop → 17:52 Cloudflare
  • us-central1: het kudde-effect
  • Mechanisme: controle in het aanvraagpad, globale replicatie, één leverancier
  • git blame — de splitsing

Vragen en antwoorden

Wat veroorzaakte de Google Cloud-storing van 12 juni 2025?

Een quotabeleid-rij met lege velden crashte Service Control, de binaire code die elke Google Cloud API-aanvraag goedkeurt. Volgens het incidentrapport van Google raakte de rij een codepad zonder null-controle en zonder feature flag, en de binaire code ging in een crashlus in elke regio. Externe API's retourneerden ongeveer drie uur lang 503-fouten.

Bekijk dit deel 0:32 · status.cloud.google.com

Waarom kan het opnieuw opstarten van services een cloudstoring langer laten duren in één regio?

Veel taken die tegelijkertijd opnieuw worden opgestart, kunnen dezelfde gedeelde database overbelasten. In us-central1 bestormden de opnieuw opstartende taken van Google één Spanner-tabel zonder gerandomiseerde backoff, dus Google heeft ze handmatig beperkt. Die regio had twee uur veertig minuten nodig om te herstellen, terwijl andere regio's om 19:48 herstelden.

Bekijk dit deel 1:32 · status.cloud.google.com

Waarom faalden Cloudflare-services toen Google Cloud uitviel?

Cloudflare's Workers KV hield zijn bron van waarheid bij een externe cloudprovider. Volgens Cloudflare verloor Workers KV 90% van de aanvragen, en Access, WARP, Workers AI, Pages, Stream en Turnstile vielen daarmee uit gedurende 2 uur en 28 minuten. De aflevering merkt op dat Workers KV midden in een migratie naar Cloudflare's eigen R2-opslag zat.

Bekijk dit deel 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Hoe kunnen teams voorkomen dat een slechte configuratierij een service in elke regio laat crashen?

Drie praktijken vloeien voort uit dit incident. Houd nieuwe code achter een feature flag die uit staat, controleer op null waar gegevens binnenkomen en plaats quotagegevens gefaseerd in plaats van ze onmiddellijk wereldwijd te repliceren. Het rapport van Google zegt dat een flag de bug in staging zou hebben opgemerkt, en de oplossingen omvatten 'failing open' en 'exponential backoff'.

Bekijk dit deel 1:43 · status.cloud.google.com

Zetten de Google Cloud- en Cloudflare-postmortems van 12 juni een goed voorbeeld voor incidentrapporten?

Het oordeel van The Daily Diff was SHIP IT. Beide postmortems werden binnen dertig uur ingediend en beide gaven hun eigen bedrijven de schuld. De oplossingen van Google waren concreet, namelijk 'fail open', flags standaard uit en 'exponential backoff'. De les voor maandag is om nieuwe code achter een flag te plaatsen die uit staat.

Bekijk dit deel 2:33 · status.cloud.google.com · blog.cloudflare.com

Vertaald transcript

Vertaald vanuit de originele Engelse gesproken tekst. Beschikbare audio en ondertiteling worden beheerd door YouTube.

Een leeg veld, een null-pointer, elke regio

0:00 Een beleidsregel met lege velden veroorzaakt een null-pointer, en Google Cloud crasht in elke regio tegelijk – en Cloudflare valt ermee om, en noemt Google vervolgens "een externe provider". 12 juni 2025, 17:49 UTC. Google's rapport: Service Control, de binary die elke API-aanvraag goedkeurt, in een crash-loop voor drie uur. Cloudflare's, dezelfde avond: Workers KV, negentig procent mislukt, twee uur achtentwintig.

0:23 Hoe het gebeurde, waarom één leeg veld binnen enkele seconden wereldwijd ging, en wie de schuld krijgt. Dit is The Daily Diff, postmortem. 29 mei. Service Control krijgt een nieuwe quotacontrole, per regio uitgeleverd met een

Tijdlijn: 29 mei → 17:45 → crash-loop → rode knop → 17:52 Cloudflare

0:35 rode knop — maar het nieuwe codepad draait nooit tijdens de uitrol; niets triggert het nog. Geen null-controle. Geen feature-vlag. 17:45. Een beleidswijziging met lege velden belandt in de Spanner-tabel. Quota is globaal, dus de regel repliceert overal binnen enkele seconden. Elke Service Control binary leest het, treft de null-pointer, crasht, herstart, leest het opnieuw. Elke API-aanroep: 503.

0:55 Google is snel: triage in twee minuten, hoofdoorzaak in tien. De rode knop is binnen veertig minuten uit, en kleine regio's herstellen eerst. De statuspagina plaatst zijn eerste update een uur later, omdat deze op Google Cloud draait. 17:52. Cloudflare's WARP-team ziet nieuwe apparaten niet registreren. Workers KV, de opslag die de helft van Cloudflare gebruikt voor configuratie en identiteit, draait op een cloud van derden. Access mislukt elke login — standaard faalt het gesloten.

1:20 Workers AI mislukt elke inferentie. 19:11, Gergely Orosz: twee onafhankelijke clouds tegelijkertijd offline, nog nooit gezien. 19:32, Google-ondersteuning vertelt een gebruiker dat er geen bekende storingen zijn — probeer uw cookies te wissen. Overal elders herstelt het om 19:48.

us-central1: het kudde-effect

1:34 us-central1 niet: herstartende taken bestormen dezelfde Spanner-tabel, geen gerandomiseerde backoff, dus Google beperkt ze handmatig. Twee uur veertig. Eén: de beleidscontrole zit in het aanvraagpad; wanneer de controle faalt,

Mechanisme: controle in het aanvraagpad, globale replicatie, één leverancier

1:46 faalt de API. Twee: quotadata wordt globaal zonder staging; een slechte regel is een globale regel. Drie: Cloudflare wist het. Workers KV was midden in de migratie naar zijn eigen R2, teruggebracht tot één provider — de postmortem noemt het een gat in de dekking.

git blame — de splitsing

2:00 git blame. Google, vijfenenvijftig procent: geen null-controle, geen feature-vlag, geen backoff — hun rapport zegt dat een vlag het in staging had opgemerkt. Globale replicatie, twintig: één regel, elke regio, seconden. Cloudflare, twintig: de helft van een productlijn op de opslag van één leverancier, en een postmortem dat Google nooit noemt. De statuspagina, vijf, omdat deze draait op wat het rapporteert. Bereik van de impact: zeventig Google Cloud-producten, tien Workspace-apps,

Bereik van de impact

2:23 elke regio. Drie uur. Bij Cloudflare: Access, WARP, Workers AI, Pages, Stream — twee en een half. Hacker News, veertienhonderd punten; topcommentaar: de statuspagina is groen.

Oordeel + de Monday line

2:33 Oordeel, postmortem: SHIP IT. Beide postmortems landen binnen dertig uur, beide wijten het aan zichzelf, en Google's oplossingen zijn concreet: fail open, vlaggen standaard uit, exponentiële backoff. De Monday line: nieuwe code achter een vlag die uitgeschakeld wordt geleverd, en een null-controle waar de data binnenkomt. Stuur me het incident waar je nog steeds niet over mag praten, in de reacties, of op the daily diff dot dev. En dat is de diff voor vandaag.

2:53 Ik ben Niko van Axrisi. Merge responsibly.

Bronnen

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Gerelateerde video's