Google Cloud se srušio na praznom polju. Tri sata.
Red politike s nekoliko praznih polja naiđe na nulti pokazivač, i Google Cloud se odjednom ruši u svakoj regiji — zatim pada i Cloudflare s njim.
Red politike s nekoliko praznih polja naiđe na nulti pokazivač, i Google Cloud se odjednom ruši u svakoj regiji — zatim pada i Cloudflare s njim. 12. juni 2025., 17:49 UTC: Service Control, binarni fajl koji odobrava svaki zahtjev Google Cloud API-ja, pročita promjenu politike kvote s "nenamjernim praznim poljima", naiđe na putanju koda isporučenu dvije sedmice ranije bez provjere nule i bez zastavice funkcije, i ulazi u petlju rušenja u svakoj regiji — red se replicirao globalno u roku od nekoliko sekundi. Vanjski API-ji vraćaju 503 tokom tri sata; us-central1 traje 2 h 40 min jer ponovno pokretanje zadataka opterećuje istu Spanner tabelu bez nasumičnog odgode. Tri minute nakon Googleovog prekida, Cloudflareov Workers KV — čiji izvor istine leži na "dobavljaču oblaka treće strane" — gubi 90 % zahtjeva, a Access, WARP, Workers AI, Pages, Stream i Turnstile padaju s njim tokom 2 h 28 min. Googleova statusna stranica objavljuje svoje prvo ažuriranje sat vremena kasnije, jer radi na Google Cloud-u.
Pročitajte pisano izdanje (engleski) ↗
Šta ovaj video pokriva
- Prazno polje, nulti pokazivač, svaka regija
- Vremenska linija: 29. maj → 17:45 → petlja rušenja → crveno dugme → 17:52 Cloudflare
- us-central1: efekt stada
- Mehanizam: provjera u putanji zahtjeva, globalna replikacija, jedan dobavljač
- git blame — podjela
Pitanja i odgovori
Šta je uzrokovalo prekid Google Cloud usluga 12. juna 2025. godine?
Redak politike kvota sa praznim poljima srušio je Service Control, binarnu datoteku koja odobrava svaki zahtjev Google Cloud API-ja. Prema Google-ovom izvještaju o incidentu, redak je pogodio putanju koda bez provjere null vrijednosti i bez oznake funkcije, a binarna datoteka je ušla u petlju rušenja u svakoj regiji. Vanjski API-ji su vraćali greške 503 otprilike tri sata.
Zašto ponovno pokretanje usluga može produžiti trajanje prekida u oblaku u jednoj regiji?
Mnogi zadaci koji se istovremeno ponovno pokreću mogu preopteretiti istu zajedničku bazu podataka. U us-central1, Googleovi zadaci ponovnog pokretanja preplavili su jednu Spanner tablicu bez nasumičnog povlačenja, pa ih je Google ručno prigušio. Oporavak te regije trajao je dva sata i četrdeset minuta, dok su se ostale regije oporavile do 19:48.
Zašto su Cloudflare usluge zakazale kada je Google Cloud pao?
Cloudflareov Workers KV je svoj izvor istine držao na pružatelju usluga u oblaku treće strane. Prema Cloudflareu, Workers KV je izgubio 90% zahtjeva, a Access, WARP, Workers AI, Pages, Stream i Turnstile su pali s njim na 2 sata i 28 minuta. Epizoda bilježi da je Workers KV bio usred migracije na Cloudflareovo vlastito R2 skladište.
Kako timovi mogu spriječiti da loš konfiguracijski redak sruši uslugu u svakoj regiji?
Iz ovog incidenta proizlaze tri prakse. Novi kod držite iza oznake funkcije koja se isključuje, provjerite null tamo gdje podaci ulaze, i stupnjevite podatke o kvotama umjesto da ih replicirate globalno odjednom. Googleov izvještaj kaže da bi oznaka otkrila grešku u fazi testiranja, a njegovi popravci uključuju fail open i eksponencijalno povlačenje.
Da li su Google Cloud i Cloudflare postmortemi od 12. juna dobar primjer za izvještaje o incidentima?
Presuda The Daily Diffa bila je SHIP IT. Oba postmortema su objavljena unutar trideset sati i oba su okrivila vlastite kompanije. Googleovi popravci su bili konkretni, naime fail open, oznake isključene po defaultu i eksponencijalno povlačenje. Zaključak za ponedjeljak je da se novi kod isporučuje iza oznake koja je isključena.
Prevedeni transkript
Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.
Prazno polje, nulti pokazivač, svaka regija
0:00 Red politike s praznim poljima naiđe na nulti pokazivač, i Google Cloud se ruši u svakoj regiji odjednom — i Cloudflare pada s njim, zatim Google naziva "dobavljačem treće strane". 12. juni 2025., 17:49 UTC. Googleov izvještaj: Service Control, binarni fajl koji odobrava svaki API zahtjev, u petlji rušenja tri sata. Cloudflareov, iste večeri: Workers KV, devedeset posto neuspješno, dva sata dvadeset osam.
0:23 Kako se to dogodilo, zašto je jedno prazno polje postalo globalno za nekoliko sekundi, i ko je kriv. Ovo je The Daily Diff, postmortem. 29. maj. Service Control dobiva novu provjeru kvote, isporučenu regiju po regiju s
Vremenska linija: 29. maj → 17:45 → petlja rušenja → crveno dugme → 17:52 Cloudflare
0:35 crvenim dugmetom — ali nova putanja koda nikada se ne pokreće tokom uvođenja; ništa je ne pokreće još. Nema provjere nule. Nema zastavice funkcije. 17:45. Promjena politike s praznim poljima slijeće u Spanner tabelu. Kvota je globalna, tako da se red replicira svuda u roku od nekoliko sekundi. Svaki Service Control binarni fajl ga čita, naiđe na nulti pokazivač, ruši se, ponovno pokreće, ponovno ga čita. Svaki API poziv: 503.
0:55 Google je brz: trijaža za dvije minute, osnovni uzrok za deset. Crveno dugme je vani za četrdeset, a male regije se prve oporavljaju. Statusna stranica objavljuje svoje prvo ažuriranje sat vremena kasnije, jer radi na Google Cloud-u. 17:52. Cloudflareov WARP tim vidi da se novi uređaji ne uspijevaju registrovati. Workers KV, skladište koje pola Cloudflarea koristi za konfiguraciju i identitet, živi na oblaku treće strane. Access ne uspijeva svaki put pri prijavi — po dizajnu, zatvara se.
1:20 Workers AI ne uspijeva svaki put pri zaključivanju. 19:11, Gergely Orosz: dva nezavisna oblaka su pala odjednom, nikada prije viđeno. 19:32, Google podrška govori korisniku da nema poznatih prekida — pokušajte obrisati kolačiće. Svuda drugdje se oporavlja do 19:48.
us-central1: efekt stada
1:34 us-central1 ne: ponovno pokretanje zadataka opterećuje istu Spanner tabelu, bez nasumičnog odgode, pa ih Google ručno prigušuje. Dva sata četrdeset. Jedan: provjera politike se nalazi unutar putanje zahtjeva; kada provjera umre,
Mehanizam: provjera u putanji zahtjeva, globalna replikacija, jedan dobavljač
1:46 API umire. Dva: podaci o kvoti idu globalno bez faze testiranja; loš red je globalni red. Tri: Cloudflare je znao. Workers KV je bio usred migracije na vlastiti R2, na jednog dobavljača — postmortem to naziva prazninom u pokrivenosti.
git blame — podjela
2:00 git blame. Google, pedeset pet posto: nema provjere nule, nema zastavice funkcije, nema odgode — njihov izvještaj kaže da bi zastavica to uhvatila u fazi testiranja. Globalna replikacija, dvadeset: jedan red, svaka regija, sekunde. Cloudflare, dvadeset: pola linije proizvoda na skladištu jednog dobavljača, i postmortem koji nikada ne spominje Google. Statusna stranica, pet, za život na onome o čemu izvještava. Radijus eksplozije: sedamdeset Google Cloud proizvoda, deset Workspace aplikacija,
Radijus eksplozije
2:23 svaka regija. Tri sata. Na Cloudflareu: Access, WARP, Workers AI, Pages, Stream — dva i po. Hacker News, hiljadu četiri stotine bodova; glavni komentar: statusna stranica je zelena.
Presuda + linija od ponedjeljka
2:33 Presuda, postmortem: SHIP IT. Oba postmortema stižu u roku od trideset sati, oba krive sebe, a Googleovi popravci su konkretni: otkazivanje otvorenog, zastavice isključene po defaultu, eksponencijalna odgoda. Linija od ponedjeljka: novi kod iza zastavice koja je isključena, i provjera nule gdje podaci dolaze. Pošaljite mi incident o kojem vam još uvijek nije dozvoljeno govoriti, u komentarima, ili na the daily diff dot dev. I to je diff za danas.
2:53 Ja sam Niko iz Axrisi. Spojite odgovorno.
Izvori
- Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
- Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
- Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
- Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
- @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
- Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
- Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
- Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
- Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com



