+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud se srušio na praznom polju. Tri sata.

Red politike sa nekoliko praznih polja pogodi nulti pokazivač, i Google Cloud se istovremeno sruši u svakoj regiji — zatim Cloudflare pada sa njim.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Red politike sa nekoliko praznih polja pogodi nulti pokazivač, i Google Cloud se istovremeno sruši u svakoj regiji — zatim Cloudflare pada sa njim. 12. jun 2025, 17:49 UTC: Service Control, binarna datoteka koja odobrava svaki zahtev Google Cloud API-ja, čita promenu politike kvota sa „nenamernim praznim poljima“, pogodi putanju koda isporučenu dve nedelje ranije bez provere null vrednosti i bez oznake funkcije, i ulazi u petlju pada u svakoj regiji — red se replicirao globalno u roku od nekoliko sekundi. Spoljni API-ji vraćaju 503 tokom tri sata; us-central1 traje 2 h 40 min jer zadaci koji se ponovo pokreću jure istu Spanner tabelu bez randomizovanog odlaganja. Tri minuta nakon Google-ovog prekida, Cloudflare-ov Workers KV — čiji izvor istine leži na „dobavljaču oblaka treće strane“ — gubi 90 % zahteva, i Access, WARP, Workers AI, Pages, Stream i Turnstile padaju sa njim tokom 2 h 28 min. Google-ova stranica statusa objavljuje svoje prvo ažuriranje sat vremena kasno, jer radi na Google Cloud-u.

Pročitajte pisano izdanje (engleski) ↗

Šta ovaj video pokriva

  • Prazno polje, nulti pokazivač, svaka regija
  • Vremenska linija: 29. maj → 17:45 → petlja pada → crveno dugme → 17:52 Cloudflare
  • us-central1: efekat stada
  • Mehanizam: provera u putanji zahteva, globalna replikacija, jedan dobavljač
  • git blame — podela

Pitanja i odgovori

Šta je izazvalo prekid rada Google Cloud-a 12. juna 2025. godine?

Red politike kvota sa praznim poljima je srušio Service Control, binarni program koji odobrava svaki zahtev Google Cloud API-ja. Prema Google-ovom izveštaju o incidentu, red je pogodio putanju koda bez provere nultih vrednosti i bez funkcionalne oznake, i binarni program je ušao u petlju pada u svakom regionu. Spoljni API-ji su vraćali greške 503 oko tri sata.

Pogledajte ovaj deo 0:32 · status.cloud.google.com

Zašto ponovno pokretanje servisa može produžiti prekid rada u jednom regionu?

Mnogi zadaci koji se istovremeno ponovo pokreću mogu preopteretiti istu deljenu bazu podataka. U us-central1, Google-ovi zadaci ponovnog pokretanja su preplavili jednu Spanner tabelu bez randomizovanog povratnog kašnjenja, tako da ih je Google ručno prigušio. Tom regionu je trebalo dva sata i četrdeset minuta da se oporavi, dok su se ostali regioni oporavili do 19:48.

Pogledajte ovaj deo 1:32 · status.cloud.google.com

Zašto su Cloudflare servisi otkazali kada je Google Cloud prestao da radi?

Cloudflare-ov Workers KV je držao svoj izvor istine na provajderu oblaka treće strane. Prema Cloudflare-u, Workers KV je izgubio 90% zahteva, a Access, WARP, Workers AI, Pages, Stream i Turnstile su prestali da rade sa njim 2 h 28 min. Epizoda napominje da je Workers KV bio usred migracije na Cloudflare-ovo sopstveno R2 skladište.

Pogledajte ovaj deo 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Kako timovi mogu sprečiti da loš konfiguracioni red sruši servis u svakom regionu?

Tri prakse proizilaze iz ovog incidenta. Držite novi kod iza funkcionalne oznake koja se isključuje, proveravajte null gde podaci ulaze, i postavljajte podatke o kvotama umesto da ih replicirate globalno odjednom. Google-ov izveštaj kaže da bi oznaka uhvatila grešku u fazi testiranja, a njegovi ispravci uključuju fail open i eksponencijalno povratno kašnjenje.

Pogledajte ovaj deo 1:43 · status.cloud.google.com

Da li Google Cloud i Cloudflare postmortemi od 12. juna predstavljaju dobar primer za izveštaje o incidentima?

Presuda The Daily Diff-a je bila SHIP IT. Oba postmortema su objavljena u roku od trideset sati i oba su okrivila sopstvene kompanije. Google-ovi ispravci su bili konkretni, naime fail open, oznake isključene po podrazumevanoj vrednosti i eksponencijalno povratno kašnjenje. Zaključak za ponedeljak je da se novi kod isporučuje iza oznake koja počinje isključena.

Pogledajte ovaj deo 2:33 · status.cloud.google.com · blog.cloudflare.com

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

Prazno polje, nulti pokazivač, svaka regija

0:00 Red politike sa praznim poljima pogodi nulti pokazivač, i Google Cloud se sruši u svakoj regiji istovremeno — i Cloudflare pada sa njim, zatim naziva Google „dobavljačem treće strane“. 12. jun 2025, 17:49 UTC. Google-ov izveštaj: Service Control, binarna datoteka koja odobrava svaki API zahtev, u petlji pada tri sata. Cloudflare-ov, iste večeri: Workers KV, devedeset posto neuspešnih zahteva, dva sata dvadeset osam minuta.

0:23 Kako se to dogodilo, zašto je jedno prazno polje otišlo globalno za nekoliko sekundi, i ko je kriv. Ovo je The Daily Diff, postmortem. 29. maj. Service Control dobija novu proveru kvote, isporučenu po regijama sa

Vremenska linija: 29. maj → 17:45 → petlja pada → crveno dugme → 17:52 Cloudflare

0:35 crvenim dugmetom — ali nova putanja koda nikada ne radi tokom uvođenja; ništa je ne pokreće još. Bez provere null vrednosti. Bez oznake funkcije. 17:45. Promena politike sa praznim poljima dospeva u Spanner tabelu. Kvota je globalna, pa se red replicira svuda u roku od nekoliko sekundi. Svaka Service Control binarna datoteka je čita, pogodi nulti pokazivač, sruši se, ponovo se pokreće, ponovo je čita. Svaki API poziv: 503.

0:55 Google je brz: trijaža za dva minuta, osnovni uzrok za deset. Crveno dugme je van funkcije za četrdeset minuta, a male regije se prve oporavljaju. Stranica statusa objavljuje svoje prvo ažuriranje sat vremena kasnije, jer radi na Google Cloud-u. 17:52. Cloudflare-ov WARP tim vidi da se novi uređaji ne registruju. Workers KV, skladište koje pola Cloudflare-a koristi za konfiguraciju i identitet, živi na oblaku treće strane. Access ne uspeva svaki put pri prijavi — po dizajnu, zatvara se.

1:20 Workers AI ne uspeva svaki zaključak. 19:11, Gergely Orosz: dva nezavisna oblaka istovremeno pala, nikada ranije viđeno. 19:32, Google podrška govori korisniku da nema poznatih prekida — pokušajte da obrišete kolačiće. Svuda drugde se oporavlja do 19:48.

us-central1: efekat stada

1:34 us-central1 ne: zadaci koji se ponovo pokreću jure istu Spanner tabelu, bez randomizovanog odlaganja, pa ih Google ručno prigušuje. Dva sata četrdeset minuta. Jedan: provera politike se nalazi unutar putanje zahteva; kada provera umre,

Mehanizam: provera u putanji zahteva, globalna replikacija, jedan dobavljač

1:46 API umire. Dva: podaci o kvoti idu globalno bez inscenacije; loš red je globalni red. Tri: Cloudflare je znao. Workers KV je bio u sred migracije na sopstveni R2, spušten na jednog dobavljača — postmortem to naziva prazninom u pokrivenosti.

git blame — podela

2:00 git blame. Google, pedeset pet posto: bez provere null vrednosti, bez oznake funkcije, bez odlaganja — njihov izveštaj kaže da bi oznaka to uhvatila u inscenaciji. Globalna replikacija, dvadeset: jedan red, svaka regija, sekunde. Cloudflare, dvadeset: pola linije proizvoda na skladištu jednog dobavljača, i postmortem koji nikada ne kaže Google. Stranica statusa, pet, zbog toga što živi na onome o čemu izveštava. Radijus udara: sedamdeset Google Cloud proizvoda, deset Workspace aplikacija,

Radijus udara

2:23 svaka regija. Tri sata. Na Cloudflare-u: Access, WARP, Workers AI, Pages, Stream — dva i po sata. Hacker News, četrnaest stotina poena; glavni komentar: stranica statusa je zelena.

Presuda + linija ponedeljka

2:33 Presuda, postmortem: SHIP IT. Oba postmortema stižu u roku od trideset sati, oba krive sebe, i Google-ova rešenja su konkretna: otkaži otvoreno, oznake isključene podrazumevano, eksponencijalno odlaganje. Linija ponedeljka: novi kod iza oznake koja se isporučuje isključena, i provera null vrednosti tamo gde podaci dolaze. Pošaljite mi incident o kojem još uvek ne smete da govorite, u komentarima, ili na the daily diff dot dev. I to je diff za danas.

2:53 Ja sam Niko iz Axrisi. Spajajte odgovorno.

Izvori

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani video snimci