+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud se srušio zbog praznog polja. Tri sata.

Redak pravila s nekoliko praznih polja pogodio je null pointer, a Google Cloud se srušio u svakoj regiji odjednom — zatim je s njim pao i Cloudflare.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Redak pravila s nekoliko praznih polja pogodio je null pointer, a Google Cloud se srušio u svakoj regiji odjednom — zatim je s njim pao i Cloudflare. 12. lipnja 2025., 17:49 UTC: Service Control, binarni program koji odobrava svaki zahtjev Google Cloud API-ja, pročitao je promjenu politike kvota s "nenamjernim praznim poljima", pogodio putanju koda isporučenu dva tjedna ranije bez provjere null vrijednosti i bez značajke, te ušao u petlju rušenja u svakoj regiji — redak se replicirao globalno u nekoliko sekundi. Vanjski API-ji vraćaju 503 tijekom tri sata; us-central1 traje 2 h 40 min jer ponovno pokretani zadaci udaraju na istu Spanner tablicu bez nasumičnog odgode. Tri minute nakon Googleovog prekida, Cloudflareov Workers KV — čiji izvor istine sjedi na "davatelju usluga oblaka treće strane" — gubi 90 % zahtjeva, a Access, WARP, Workers AI, Pages, Stream i Turnstile padaju s njim na 2 h 28 min. Googleova stranica statusa objavljuje svoje prvo ažuriranje sat vremena kasno, jer radi na Google Cloudu.

Pročitajte pisano izdanje (engleski) ↗

Što ovaj video pokriva

  • Prazno polje, null pointer, svaka regija
  • Vremenska traka: 29. svibnja → 17:45 → petlja rušenja → crveni gumb → 17:52 Cloudflare
  • us-central1: efekt krda
  • Mehanizam: provjera u putanji zahtjeva, globalna replikacija, jedan dobavljač
  • git blame — podjela

Pitanja i odgovori

Što je uzrokovalo prekid rada Google Clouda 12. lipnja 2025.?

Redak pravila o kvotama s praznim poljima srušio je Service Control, binarni program koji odobrava svaki zahtjev za Google Cloud API. Prema Googleovom izvješću o incidentu, redak je naišao na putanju koda bez provjere null vrijednosti i bez značajke zastavice, a binarni program je ušao u petlju rušenja u svakoj regiji. Vanjski API-ji vraćali su pogreške 503 oko tri sata.

Gledajte ovaj dio 0:32 · status.cloud.google.com

Zašto ponovno pokretanje usluga može produljiti prekid rada u oblaku u jednoj regiji?

Mnogi zadaci koji se istovremeno ponovno pokreću mogu preopteretiti istu dijeljenu bazu podataka. U us-central1, Googleovi zadaci ponovnog pokretanja preplavili su jednu Spanner tablicu bez nasumičnog povratka, pa ih je Google ručno prigušio. Oporavak te regije trajao je dva sata i četrdeset minuta, dok su se druge regije oporavile do 19:48.

Gledajte ovaj dio 1:32 · status.cloud.google.com

Zašto su usluge Cloudflarea zakazale kada je Google Cloud prestao raditi?

Cloudflareov Workers KV je svoj izvor istine držao kod pružatelja usluga oblaka treće strane. Prema Cloudflareu, Workers KV je izgubio 90% zahtjeva, a Access, WARP, Workers AI, Pages, Stream i Turnstile su prestali raditi s njim 2 sata i 28 minuta. Epizoda napominje da je Workers KV bio usred migracije na Cloudflareovu vlastitu R2 pohranu.

Gledajte ovaj dio 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Kako timovi mogu spriječiti da loš redak konfiguracije sruši uslugu u svakoj regiji?

Iz ovog incidenta proizlaze tri prakse. Novi kod držite iza značajke zastavice koja se isključuje, provjerite null vrijednosti tamo gdje podaci ulaze i pripremite podatke o kvotama umjesto da ih replicirate globalno odjednom. Googleovo izvješće kaže da bi zastavica uhvatila grešku u pripremi, a njegovi popravci uključuju neuspješno otvaranje i eksponencijalni povratak.

Gledajte ovaj dio 1:43 · status.cloud.google.com

Jesu li Google Cloud i Cloudflare postmortemi od 12. lipnja dobar primjer za izvješća o incidentima?

Presuda The Daily Diffa bila je SHIP IT. Oba postmortema objavljena su unutar trideset sati i oba su okrivila vlastite tvrtke. Googleovi popravci bili su konkretni, naime neuspješno otvaranje, zastavice isključene prema zadanim postavkama i eksponencijalni povratak. Pouka za ponedjeljak je da se novi kod isporučuje iza zastavice koja počinje isključena.

Gledajte ovaj dio 2:33 · status.cloud.google.com · blog.cloudflare.com

Prevedeni transkript

Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.

Prazno polje, null pointer, svaka regija

0:00 Redak pravila s praznim poljima pogodio je null pointer, a Google Cloud se srušio u svakoj regiji odjednom — i Cloudflare je pao s njim, zatim Google naziva "davateljem usluga treće strane". 12. lipnja 2025., 17:49 UTC. Googleovo izvješće: Service Control, binarni program koji odobrava svaki API zahtjev, u petlji rušenja tri sata. Cloudflareov, iste večeri: Workers KV, devedeset posto neuspješno, dva sata dvadeset osam.

0:23 Kako se to dogodilo, zašto je jedno prazno polje postalo globalno u sekundama, i tko je kriv. Ovo je The Daily Diff, postmortem. 29. svibnja. Service Control dobiva novu provjeru kvote, isporučenu regiju po regiju s

Vremenska traka: 29. svibnja → 17:45 → petlja rušenja → crveni gumb → 17:52 Cloudflare

0:35 crvenim gumbom — ali nova putanja koda nikada ne radi tijekom uvođenja; ništa je ne pokreće još. Nema provjere null vrijednosti. Nema značajke. 17:45. Promjena politike s praznim poljima slijeće u Spanner tablicu. Kvota je globalna, pa se redak replicira svugdje unutar sekundi. Svaki Service Control binarni program ga pročita, pogodi null pointer, sruši se, ponovno pokrene, ponovno pročita. Svaki API poziv: 503.

0:55 Google je brz: trijaža u dvije minute, uzrok u deset. Crveni gumb je vani za četrdeset, a male regije se prve oporavljaju. Stranica statusa objavljuje prvo ažuriranje sat vremena kasnije, jer radi na Google Cloudu. 17:52. Cloudflareov WARP tim vidi da se novi uređaji ne uspijevaju registrirati. Workers KV, pohrana koju polovica Cloudflarea koristi za konfiguraciju i identitet, živi na oblaku treće strane. Access ne uspijeva pri svakoj prijavi — po dizajnu, ne uspijeva zatvoreno.

1:20 Workers AI ne uspijeva pri svakom zaključivanju. 19:11, Gergely Orosz: dva neovisna oblaka pala odjednom, nikad prije viđeno. 19:32, Googleova podrška kaže korisniku da nema poznatih prekida — pokušajte očistiti kolačiće. Svugdje drugdje se oporavlja do 19:48.

us-central1: efekt krda

1:34 us-central1 ne: ponovno pokretani zadaci udaraju na istu Spanner tablicu, nema nasumičnog odgode, pa ih Google ručno prigušuje. Dva sata četrdeset. Jedan: provjera politike sjedi unutar putanje zahtjeva; kad provjera umre,

Mehanizam: provjera u putanji zahtjeva, globalna replikacija, jedan dobavljač

1:46 API umre. Dva: podaci o kvotama idu globalno bez postavljanja; loš redak je globalni redak. Tri: Cloudflare je znao. Workers KV bio je u sredini migracije na vlastiti R2, na jednog davatelja usluga — postmortem to naziva prazninom u pokrivenosti.

git blame — podjela

2:00 git blame. Google, pedeset pet posto: nema provjere null vrijednosti, nema značajke, nema odgode — njihovo izvješće kaže da bi zastavica to uhvatila u postavljanju. Globalna replikacija, dvadeset: jedan redak, svaka regija, sekunde. Cloudflare, dvadeset: pola linije proizvoda na pohrani jednog dobavljača, i postmortem koji nikad ne spominje Google. Stranica statusa, pet, jer živi na onome o čemu izvješćuje. Radijus udara: sedamdeset Google Cloud proizvoda, deset Workspace aplikacija,

Radijus udara

2:23 svaka regija. Tri sata. Na Cloudflareu: Access, WARP, Workers AI, Pages, Stream — dva i pol. Hacker News, četrnaest stotina bodova; top komentar: stranica statusa je zelena.

Presuda + linija ponedjeljka

2:33 Presuda, postmortem: SHIP IT. Oba postmortema objavljena su unutar trideset sati, oba krive sebe, a Googleovi popravci su konkretni: otvaranje neuspjehom, zastavice isključene po zadanim postavkama, eksponencijalna odgoda. Linija ponedjeljka: novi kod iza zastavice koja se isporučuje isključena, i provjera null vrijednosti tamo gdje podaci dolaze. Pošaljite mi incident o kojem još uvijek ne smijete pričati, u komentarima, ili na the daily diff dot dev. I to je diff za danas.

2:53 Ja sam Niko iz Axrisija. REVERT responsibly.

Izvori

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani videozapisi