+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud kukkus tühjal väljal. Kolm tundi.

Mõne tühja väljaga poliitikarea satub nullviida otsa ja Google Cloud kukub korraga igas piirkonnas kokku — seejärel kukub koos sellega ka Cloudflare.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Mõne tühja väljaga poliitikarea satub nullviida otsa ja Google Cloud kukub korraga igas piirkonnas kokku — seejärel kukub koos sellega ka Cloudflare. 12. juuni 2025, 17:49 UTC: Service Control, binaar, mis kiidab heaks iga Google Cloud API päringu, loeb kvoodipoliitika muudatuse "tahtmatute tühjade väljadega", satub kaks nädalat varem väljastatud kooditeele, kus puudub nullkontroll ja funktsioonilipp, ning läheb krahhilõime igas piirkonnas – rida oli sekunditega globaalselt replikeerunud. Välised API-d tagastavad 503 kolm tundi; us-central1 võtab 2 tundi 40 minutit, sest taaskäivituvad ülesanded ründavad sama Spanneri tabelit ilma randomiseeritud tagasivõtuajata. Kolm minutit pärast Google'i seisakut kaotab Cloudflare'i Workers KV — mille tõeallikas asub "kolmanda osapoole pilveteenuse pakkuja" juures — 90% päringutest ja koos sellega lähevad Access, WARP, Workers AI, Pages, Stream ja Turnstile alla 2 tunniks 28 minutiks. Google'i olekuleht postitab esimese uuenduse tund aega hiljem, sest see töötab Google Cloudis.

Loe kirjalikku väljaannet (inglise keeles) ↗

Mida see video hõlmab

  • Tühi väli, nullviit, iga piirkond
  • Ajaskaala: 29. mai → 17:45 → krahhilõim → punane nupp → 17:52 Cloudflare
  • us-central1: karjaefekt
  • Mehhanism: kontroll päringuteel, globaalne replikatsioon, üks müüja
  • git blame — jagunemine

Küsimused ja vastused

Mis põhjustas Google Cloud'i katkestuse 12. juunil 2025?

Tühjade väljadega kvoodipoliitika rida kukutas kokku teenuse juhtimise (Service Control), mis on binaarfail, mis kinnitab iga Google Cloud API päringu. Google'i intsidendiraporti kohaselt tabas rida kooditeed ilma nullkontrollita ja funktsiooniliputa ning binaarfail läks igas piirkonnas krahhi tsüklisse. Välised API-d tagastasid umbes kolm tundi 503 viga.

Vaata seda osa 0:32 · status.cloud.google.com

Miks võib teenuste taaskäivitamine pilvekatkestuse ühes piirkonnas pikemaks muuta?

Paljude ülesannete korraga taaskäivitamine võib üle koormata sama jagatud andmebaasi. Us-central1-s ründasid Google'i taaskäivitavad ülesanded ühte Spanneri tabelit ilma juhusliku viivitusega, mistõttu Google piiras neid käsitsi. Selle piirkonna taastumine võttis kaks tundi nelikümmend minutit, samal ajal kui teised piirkonnad taastusid kella 19:48-ks.

Vaata seda osa 1:32 · status.cloud.google.com

Miks Cloudflare'i teenused ebaõnnestusid, kui Google Cloud alla läks?

Cloudflare'i Workers KV hoidis oma tõeallikat kolmanda osapoole pilveteenuse pakkuja juures. Cloudflare'i andmetel kaotas Workers KV 90% päringutest ning Access, WARP, Workers AI, Pages, Stream ja Turnstile läksid sellega koos alla 2 tundi 28 minutiks. Episood märgib, et Workers KV oli pooleli migreerimisel Cloudflare'i enda R2 salvestusruumi.

Vaata seda osa 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Kuidas saavad meeskonnad takistada halva konfiguratsioonirea teenuse kokkukukkumist igas piirkonnas?

Sellest intsidendist tulenevad kolm praktikat. Hoidke uus kood funktsioonilipu taga, mis on vaikimisi väljas, kontrollige andmete sisestamisel nullväärtust ja lavastage kvoodiandmed, selle asemel et neid korraga globaalselt replikeerida. Google'i raportis öeldakse, et lipp oleks vea lavastuskeskkonnas avastanud, ja selle parandused hõlmavad avatult ebaõnnestumist ja eksponentsiaalset tagasipöördumist.

Vaata seda osa 1:43 · status.cloud.google.com

Kas Google Cloudi ja Cloudflare'i järelanalüüsid 12. juunist annavad hea näite intsidendiraportite kohta?

The Daily Diff'i otsus oli SHIP IT. Mõlemad järelanalüüsid saabusid kolmekümne tunni jooksul ja mõlemad süüdistasid oma ettevõtteid. Google'i parandused olid konkreetsed, nimelt avatult ebaõnnestumine, vaikimisi väljas olevad lipud ja eksponentsiaalne tagasipöördumine. Esmaspäevane õppetund on uue koodi avaldamine lipu taga, mis on vaikimisi väljas.

Vaata seda osa 2:33 · status.cloud.google.com · blog.cloudflare.com

Tõlgitud transkriptsioon

Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.

Tühi väli, nullviit, iga piirkond

0:00 Tühjade väljadega poliitikarea satub nullviida otsa ja Google Cloud kukub kokku igas piirkonnas korraga — ja Cloudflare kukub koos sellega, seejärel nimetab Google'it "kolmanda osapoole pakkujaks". 12. juuni 2025, 17:49 UTC. Google'i aruanne: Service Control, binaar, mis kiidab heaks iga API päringu, kolm tundi krahhilõimes. Cloudflare'i oma, samal õhtul: Workers KV, üheksakümmend protsenti ebaõnnestunud, kaks tundi kakskümmend kaheksa minutit.

0:23 Kuidas see juhtus, miks üks tühi väli sekunditega globaalseks muutus, ja kes saab süüdistuse. See on The Daily Diff, järelkaja. 29. mai. Service Control saab uue kvoodikontrolli, mis on tarnitud piirkonniti

Ajaskaala: 29. mai → 17:45 → krahhilõim → punane nupp → 17:52 Cloudflare

0:35 punase nupuga — kuid uus kooditee ei käivitu kunagi juurutamise ajal; miski ei käivita seda veel. Nullkontroll puudub. Funktsioonilipp puudub. 17:45. Tühjade väljadega poliitikamuudatus maandub Spanneri tabelisse. Kvoot on globaalne, nii et rida replikeerub sekunditega kõikjale. Iga Service Controli binaar loeb seda, tabab nullviita, kukub kokku, taaskäivitub, loeb seda uuesti. Iga API kutse: 503.

0:55 Google on kiire: olukorra hindamine kahe minutiga, algpõhjus kümnega. Punane nupp on neljakümne minuti pärast väljas ja väikesed piirkonnad taastuvad esimesena. Olekuleht postitab oma esimese uuenduse tund aega hiljem, sest see töötab Google Cloudis. 17:52. Cloudflare'i WARP-meeskond näeb, kuidas uued seadmed ei registreeru. Workers KV, pood, mida pool Cloudflare'ist kasutab konfiguratsiooniks ja identiteediks, asub kolmanda osapoole pilves. Access ebaõnnestub igal sisselogimisel — disaini järgi ebaõnnestub see suletud olekus.

1:20 Workers AI ebaõnnestub igal järeldusel. 19:11, Gergely Orosz: kaks sõltumatut pilve korraga maas, pole kunagi varem nähtud. 19:32, Google'i tugi ütleb kasutajale, et teadaolevaid häireid ei ole — proovige tühjendada oma küpsised. Kõikjal mujal taastub süsteem kella 19:48-ks.

us-central1: karjaefekt

1:34 us-central1 mitte: taaskäivituvad ülesanded ründavad sama Spanneri tabelit, ilma randomiseeritud tagasivõtuajata, nii et Google reguleerib neid käsitsi. Kaks tundi nelikümmend minutit. Esiteks: poliitikakontroll asub päringuteel; kui kontroll sureb,

Mehhanism: kontroll päringuteel, globaalne replikatsioon, üks müüja

1:46 sureb ka API. Teiseks: kvoodiandmed muutuvad globaalseks ilma testimiseta; halb rida on globaalne rida. Kolmandaks: Cloudflare teadis. Workers KV oli R2-le ülemineku keskel, ühe pakkuja juures – järelkajas nimetatakse seda katvuse puuduseks.

git blame — jagunemine

2:00 git blame. Google, viiskümmend viis protsenti: nullkontroll puudus, funktsioonilipp puudus, tagasivõtuaja puudus — nende aruandes öeldakse, et lipp oleks selle testimisel tabanud. Globaalne replikatsioon, kakskümmend: üks rida, iga piirkond, sekundid. Cloudflare, kakskümmend: pool tootesarjast ühe müüja poes, ja järelkaja, mis ei ütle kunagi Google. Olekuleht, viis, selle eest, et see elab sellel, millest ta teatab. Mõjuala: seitsekümmend Google Cloud toodet, kümme Workspace'i rakendust,

Mõjuala

2:23 iga piirkond. Kolm tundi. Cloudflare'is: Access, WARP, Workers AI, Pages, Stream — kaks ja pool. Hacker News, neliteist sada punkti; parim kommentaar: olekuleht on roheline.

Kohtuotsus + esmaspäeva joon

2:33 Otsus, järelkaja: SHIP IT. Mõlemad järelkajad ilmuvad kolmekümne tunni jooksul, mõlemad süüdistavad ennast, ja Google'i parandused on konkreetsed: fail open, lipud vaikimisi välja lülitatud, eksponentsiaalne tagasivõtu aeg. Esmaspäeva joon: uus kood lipu taga, mis tarnitakse välja, ja nullkontroll seal, kus andmed sisse tulevad. Saatke mulle intsident, millest te ikka veel rääkida ei tohi, kommentaarides või aadressil the daily diff dot dev. Ja see on tänane diff.

2:53 Mina olen Niko Axrisist. Ühendage vastutustundlikult.

Allikad

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Seotud videod