Google Cloud je strmoglavil na praznem polju. Tri ure.

Kaj zajema ta videoposnetek

• Prazno polje, ničelni kazalec, vsaka regija
• Časovnica: 29. maj → 17:45 → zanka sesutja → rdeči gumb → 17:52 Cloudflare
• us-central1: učinek črede
• Mehanizem: preverjanje na poti zahteve, globalna replikacija, en prodajalec
• git blame — razkol

Preveden prepis

Prevedeno iz izvirnega angleškega pripovedovanja. Razpoložljivi zvok in podnapisi so nadzorovani s strani YouTuba.

Prazno polje, ničelni kazalec, vsaka regija

0:00 Vrstica pravilnika s praznimi polji naleti na ničelni kazalec, in Google Cloud strmoglavi v vsaki regiji hkrati — in Cloudflare pade z njim, nato pa Google imenuje »ponudnika tretje osebe«. 12. junij 2025, 17:49 UTC. Googlovo poročilo: Service Control, binarna koda, ki potrjuje vsako API zahtevo, v zanki sesutja tri ure. Cloudflarejevo, istega večera: Workers KV, devetdeset odstotkov neuspelih zahtev, dve uri osemindvajset minut.

0:23 Kako se je zgodilo, zakaj je eno prazno polje postalo globalno v nekaj sekundah, in kdo je kriv. To je The Daily Diff, postmortem. 29. maj. Service Control dobi novo preverjanje kvote, poslano regijo po regijo z

Časovnica: 29. maj → 17:45 → zanka sesutja → rdeči gumb → 17:52 Cloudflare

0:35 rdečim gumbom — vendar nova pot kode med uvedbo nikoli ne teče; nič je še ne sproži. Brez preverjanja null. Brez zastavice funkcije. 17:45. Sprememba pravilnika s praznimi polji pristane v tabeli Spanner. Kvota je globalna, zato se vrstica replicira povsod v nekaj sekundah. Vsaka binarna koda Service Control jo prebere, naleti na ničelni kazalec, strmoglavi, se znova zažene, jo ponovno prebere. Vsak API klic: 503.

0:55 Google je hiter: triage v dveh minutah, vzrok v desetih. Rdeči gumb je izklopljen v štiridesetih minutah, in majhne regije si opomorejo prve. Stran stanja objavi svojo prvo posodobitev po eni uri, ker deluje na Google Cloudu. 17:52. Cloudflarejeva ekipa WARP vidi, da se nove naprave ne morejo registrirati. Workers KV, polovica trgovine, ki jo Cloudflare uporablja za konfiguracijo in identiteto, živi na oblaku tretje osebe. Access ne uspe pri vsaki prijavi — po zasnovi se zapre, če ne uspe.

1:20 Workers AI ne uspe pri vsakem sklepanju. 19:11, Gergely Orosz: dva neodvisna oblaka padeta hkrati, še nikoli videno. 19:32, Googlova podpora pove uporabniku, da ni znanih motenj — poskusite počistiti piškotke. Vse ostalo si opomore do 19:48.

us-central1: učinek črede

1:34 us-central1 ne: naloge, ki se znova zaženejo, preplavijo isto tabelo Spanner, brez naključnega umika, zato jih Google ročno omeji. Dve uri štirideset minut. Eno: preverjanje pravilnika je znotraj poti zahteve; ko preverjanje umre,

Mehanizem: preverjanje na poti zahteve, globalna replikacija, en prodajalec

1:46 umre tudi API. Dve: podatki o kvoti gredo globalno brez stopnjevanja; slaba vrstica je globalna vrstica. Tri: Cloudflare je vedel. Workers KV je bil sredi migracije na svoj R2, zmanjšan na enega ponudnika — postmortem to imenuje vrzel v pokritosti.

git blame — razkol

2:00 git blame. Google, petinpetdeset odstotkov: brez preverjanja null, brez zastavice funkcije, brez umika — njihovo poročilo pravi, da bi zastavica to ujela v testni fazi. Globalna replikacija, dvajset: ena vrstica, vsaka regija, sekunde. Cloudflare, dvajset: polovica linije izdelkov pri enem prodajalcu, in postmortem, ki nikoli ne omenja Googla. Stran stanja, pet, ker živi na tem, o čemer poroča. Razsežnost vpliva: sedemdeset izdelkov Google Cloud, deset aplikacij Workspace,

Razsežnost vpliva

2:23 vsaka regija. Tri ure. Pri Cloudflare: Access, WARP, Workers AI, Pages, Stream — dve in pol. Hacker News, štirinajststo točk; zgornji komentar: stran stanja je zelena.

Sodba + ponedeljkova linija

2:33 Sodba, postmortem: SHIP IT. Oba postmortema pristaneta v tridesetih urah, oba krivita sebe, in Googlove popravke so konkretne: odpoved odprtosti, zastavice privzeto izklopljene, eksponentni umik. Ponedeljkova linija: nova koda za zastavico, ki se pošlje izklopljena, in preverjanje null tam, kjer pridejo podatki. Pošljite mi incident, o katerem še vedno ne smete govoriti, v komentarjih, ali na the daily diff dot dev. In to je diff za danes.

2:53 Sem Niko iz Axrisi. Združite odgovorno.

Viri

1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com