Google Cloud se srušio na praznom polju. Tri sata.
Red politike sa nekoliko praznih polja pogodi nulti pokazivač, i Google Cloud se istovremeno sruši u svakoj regiji — zatim Cloudflare pada sa njim.
Red politike sa nekoliko praznih polja pogodi nulti pokazivač, i Google Cloud se istovremeno sruši u svakoj regiji — zatim Cloudflare pada sa njim. 12. jun 2025, 17:49 UTC: Service Control, binarna datoteka koja odobrava svaki zahtev Google Cloud API-ja, čita promenu politike kvota sa „nenamernim praznim poljima“, pogodi putanju koda isporučenu dve nedelje ranije bez provere null vrednosti i bez oznake funkcije, i ulazi u petlju pada u svakoj regiji — red se replicirao globalno u roku od nekoliko sekundi. Spoljni API-ji vraćaju 503 tokom tri sata; us-central1 traje 2 h 40 min jer zadaci koji se ponovo pokreću jure istu Spanner tabelu bez randomizovanog odlaganja. Tri minuta nakon Google-ovog prekida, Cloudflare-ov Workers KV — čiji izvor istine leži na „dobavljaču oblaka treće strane“ — gubi 90 % zahteva, i Access, WARP, Workers AI, Pages, Stream i Turnstile padaju sa njim tokom 2 h 28 min. Google-ova stranica statusa objavljuje svoje prvo ažuriranje sat vremena kasno, jer radi na Google Cloud-u.
Pročitajte pisano izdanje (engleski) ↗
Šta ovaj video pokriva
- Prazno polje, nulti pokazivač, svaka regija
- Vremenska linija: 29. maj → 17:45 → petlja pada → crveno dugme → 17:52 Cloudflare
- us-central1: efekat stada
- Mehanizam: provera u putanji zahteva, globalna replikacija, jedan dobavljač
- git blame — podela
Pitanja i odgovori
Šta je izazvalo prekid rada Google Cloud-a 12. juna 2025. godine?
Red politike kvota sa praznim poljima je srušio Service Control, binarni program koji odobrava svaki zahtev Google Cloud API-ja. Prema Google-ovom izveštaju o incidentu, red je pogodio putanju koda bez provere nultih vrednosti i bez funkcionalne oznake, i binarni program je ušao u petlju pada u svakom regionu. Spoljni API-ji su vraćali greške 503 oko tri sata.
Zašto ponovno pokretanje servisa može produžiti prekid rada u jednom regionu?
Mnogi zadaci koji se istovremeno ponovo pokreću mogu preopteretiti istu deljenu bazu podataka. U us-central1, Google-ovi zadaci ponovnog pokretanja su preplavili jednu Spanner tabelu bez randomizovanog povratnog kašnjenja, tako da ih je Google ručno prigušio. Tom regionu je trebalo dva sata i četrdeset minuta da se oporavi, dok su se ostali regioni oporavili do 19:48.
Zašto su Cloudflare servisi otkazali kada je Google Cloud prestao da radi?
Cloudflare-ov Workers KV je držao svoj izvor istine na provajderu oblaka treće strane. Prema Cloudflare-u, Workers KV je izgubio 90% zahteva, a Access, WARP, Workers AI, Pages, Stream i Turnstile su prestali da rade sa njim 2 h 28 min. Epizoda napominje da je Workers KV bio usred migracije na Cloudflare-ovo sopstveno R2 skladište.
Kako timovi mogu sprečiti da loš konfiguracioni red sruši servis u svakom regionu?
Tri prakse proizilaze iz ovog incidenta. Držite novi kod iza funkcionalne oznake koja se isključuje, proveravajte null gde podaci ulaze, i postavljajte podatke o kvotama umesto da ih replicirate globalno odjednom. Google-ov izveštaj kaže da bi oznaka uhvatila grešku u fazi testiranja, a njegovi ispravci uključuju fail open i eksponencijalno povratno kašnjenje.
Da li Google Cloud i Cloudflare postmortemi od 12. juna predstavljaju dobar primer za izveštaje o incidentima?
Presuda The Daily Diff-a je bila SHIP IT. Oba postmortema su objavljena u roku od trideset sati i oba su okrivila sopstvene kompanije. Google-ovi ispravci su bili konkretni, naime fail open, oznake isključene po podrazumevanoj vrednosti i eksponencijalno povratno kašnjenje. Zaključak za ponedeljak je da se novi kod isporučuje iza oznake koja počinje isključena.
Preveden transkript
Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.
Prazno polje, nulti pokazivač, svaka regija
0:00 Red politike sa praznim poljima pogodi nulti pokazivač, i Google Cloud se sruši u svakoj regiji istovremeno — i Cloudflare pada sa njim, zatim naziva Google „dobavljačem treće strane“. 12. jun 2025, 17:49 UTC. Google-ov izveštaj: Service Control, binarna datoteka koja odobrava svaki API zahtev, u petlji pada tri sata. Cloudflare-ov, iste večeri: Workers KV, devedeset posto neuspešnih zahteva, dva sata dvadeset osam minuta.
0:23 Kako se to dogodilo, zašto je jedno prazno polje otišlo globalno za nekoliko sekundi, i ko je kriv. Ovo je The Daily Diff, postmortem. 29. maj. Service Control dobija novu proveru kvote, isporučenu po regijama sa
Vremenska linija: 29. maj → 17:45 → petlja pada → crveno dugme → 17:52 Cloudflare
0:35 crvenim dugmetom — ali nova putanja koda nikada ne radi tokom uvođenja; ništa je ne pokreće još. Bez provere null vrednosti. Bez oznake funkcije. 17:45. Promena politike sa praznim poljima dospeva u Spanner tabelu. Kvota je globalna, pa se red replicira svuda u roku od nekoliko sekundi. Svaka Service Control binarna datoteka je čita, pogodi nulti pokazivač, sruši se, ponovo se pokreće, ponovo je čita. Svaki API poziv: 503.
0:55 Google je brz: trijaža za dva minuta, osnovni uzrok za deset. Crveno dugme je van funkcije za četrdeset minuta, a male regije se prve oporavljaju. Stranica statusa objavljuje svoje prvo ažuriranje sat vremena kasnije, jer radi na Google Cloud-u. 17:52. Cloudflare-ov WARP tim vidi da se novi uređaji ne registruju. Workers KV, skladište koje pola Cloudflare-a koristi za konfiguraciju i identitet, živi na oblaku treće strane. Access ne uspeva svaki put pri prijavi — po dizajnu, zatvara se.
1:20 Workers AI ne uspeva svaki zaključak. 19:11, Gergely Orosz: dva nezavisna oblaka istovremeno pala, nikada ranije viđeno. 19:32, Google podrška govori korisniku da nema poznatih prekida — pokušajte da obrišete kolačiće. Svuda drugde se oporavlja do 19:48.
us-central1: efekat stada
1:34 us-central1 ne: zadaci koji se ponovo pokreću jure istu Spanner tabelu, bez randomizovanog odlaganja, pa ih Google ručno prigušuje. Dva sata četrdeset minuta. Jedan: provera politike se nalazi unutar putanje zahteva; kada provera umre,
Mehanizam: provera u putanji zahteva, globalna replikacija, jedan dobavljač
1:46 API umire. Dva: podaci o kvoti idu globalno bez inscenacije; loš red je globalni red. Tri: Cloudflare je znao. Workers KV je bio u sred migracije na sopstveni R2, spušten na jednog dobavljača — postmortem to naziva prazninom u pokrivenosti.
git blame — podela
2:00 git blame. Google, pedeset pet posto: bez provere null vrednosti, bez oznake funkcije, bez odlaganja — njihov izveštaj kaže da bi oznaka to uhvatila u inscenaciji. Globalna replikacija, dvadeset: jedan red, svaka regija, sekunde. Cloudflare, dvadeset: pola linije proizvoda na skladištu jednog dobavljača, i postmortem koji nikada ne kaže Google. Stranica statusa, pet, zbog toga što živi na onome o čemu izveštava. Radijus udara: sedamdeset Google Cloud proizvoda, deset Workspace aplikacija,
Radijus udara
2:23 svaka regija. Tri sata. Na Cloudflare-u: Access, WARP, Workers AI, Pages, Stream — dva i po sata. Hacker News, četrnaest stotina poena; glavni komentar: stranica statusa je zelena.
Presuda + linija ponedeljka
2:33 Presuda, postmortem: SHIP IT. Oba postmortema stižu u roku od trideset sati, oba krive sebe, i Google-ova rešenja su konkretna: otkaži otvoreno, oznake isključene podrazumevano, eksponencijalno odlaganje. Linija ponedeljka: novi kod iza oznake koja se isporučuje isključena, i provera null vrednosti tamo gde podaci dolaze. Pošaljite mi incident o kojem još uvek ne smete da govorite, u komentarima, ili na the daily diff dot dev. I to je diff za danas.
2:53 Ja sam Niko iz Axrisi. Spajajte odgovorno.
Izvori
- Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
- Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
- Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
- Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
- @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
- Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
- Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
- Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
- Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com



