+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud zlyhal na prázdnom poli. Tri hodiny.

Riadok politiky s niekoľkými prázdnymi poľami narazí na nulový ukazovateľ a Google Cloud narazí vo všetkých regiónoch naraz — potom s ním padne aj Cloudflare.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Riadok politiky s niekoľkými prázdnymi poľami narazí na nulový ukazovateľ a Google Cloud narazí vo všetkých regiónoch naraz — potom s ním padne aj Cloudflare. 12. júna 2025, 17:49 UTC: Service Control, binárny súbor, ktorý schvaľuje každú požiadavku API Google Cloud, prečíta zmenu kvótovej politiky s „neúmyselnými prázdnymi poľami“, narazí na kódovú cestu dodanú o dva týždne skôr bez kontroly nulových hodnôt a bez príznaku funkcie a prejde do slučky pádu v každom regióne — riadok sa replikoval globálne v priebehu sekúnd. Externé API vracajú 503 na tri hodiny; us-central1 trvá 2 h 40 min, pretože reštartujúce sa úlohy preťažujú tú istú tabuľku Spanner bez náhodného oneskorenia. Tri minúty po výpadku Google stratí Workers KV od Cloudflare — ktorého zdroj pravdy sa nachádza u „poskytovateľa cloudových služieb tretej strany“ — 90 % požiadaviek a Access, WARP, Workers AI, Pages, Stream a Turnstile s ním padnú na 2 h 28 min. Stavová stránka Google zverejní svoju prvú aktualizáciu o hodinu neskôr, pretože beží na Google Cloud.

Prečítajte si písanú edíciu (anglicky) ↗

Čo toto video pokrýva

  • Prázdne pole, nulový ukazovateľ, každý región
  • Časová os: 29. máj → 17:45 → slučka pádu → červené tlačidlo → 17:52 Cloudflare
  • us-central1: efekt stáda
  • Mechanizmus: kontrola v ceste požiadavky, globálna replikácia, jeden dodávateľ
  • git blame — rozdelenie

Otázky a odpovede

Čo spôsobilo výpadok Google Cloud 12. júna 2025?

Riadok s politikou kvót s prázdnymi poľami spôsobil pád Service Control, binárneho súboru, ktorý schvaľuje každú požiadavku API služby Google Cloud. Podľa správy spoločnosti Google o incidente sa riadok dostal do cesty kódu bez kontroly nulových hodnôt a bez príznaku funkcie a binárny súbor prešiel do cyklu zlyhania v každej oblasti. Externé rozhrania API vracali chyby 503 približne tri hodiny.

Pozrite si túto časť 0:32 · status.cloud.google.com

Prečo môže reštartovanie služieb predĺžiť výpadok cloudu v jednej oblasti?

Mnoho úloh reštartujúcich sa naraz môže preťažiť tú istú zdieľanú databázu. V us-central1 úlohy spoločnosti Google, ktoré sa reštartovali, preťažili jednu tabuľku Spanner bez náhodného spomalenia, takže spoločnosť Google ich ručne škrtila. Obnovenie tejto oblasti trvalo dve hodiny štyridsať minút, zatiaľ čo iné oblasti sa obnovili do 19:48.

Pozrite si túto časť 1:32 · status.cloud.google.com

Prečo zlyhali služby Cloudflare, keď vypadol Google Cloud?

Workers KV spoločnosti Cloudflare si uchovával svoj zdroj pravdy u poskytovateľa cloudu tretej strany. Podľa spoločnosti Cloudflare Workers KV stratil 90 % požiadaviek a Access, WARP, Workers AI, Pages, Stream a Turnstile vypadli spolu s ním na 2 hodiny 28 minút. Epizóda poznamenáva, že Workers KV bol uprostred migrácie na vlastné úložisko R2 spoločnosti Cloudflare.

Pozrite si túto časť 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Ako môžu tímy zabrániť tomu, aby chybný konfiguračný riadok spôsobil pád služby v každej oblasti?

Z tohto incidentu vyplývajú tri postupy. Nový kód uchovávajte za príznakom funkcie, ktorý sa vypína, kontrolujte nulové hodnoty tam, kde vstupujú údaje, a dáta kvót spúšťajte po etapách namiesto ich globálnej replikácie naraz. Správa spoločnosti Google uvádza, že príznak by zachytil chybu pri spúšťaní, a jej opravy zahŕňajú otvorenú chybu a exponenciálne spomalenie.

Pozrite si túto časť 1:43 · status.cloud.google.com

Sú posmrtné správy Google Cloud a Cloudflare z 12. júna dobrým príkladom pre správy o incidentoch?

Verdikt The Daily Diff bol SHIP IT. Oba posmrtné správy sa objavili do tridsiatich hodín a obe vinili svoje vlastné spoločnosti. Opravy spoločnosti Google boli konkrétne, a to otvorená chyba, príznaky predvolene vypnuté a exponenciálne spomalenie. Záver pre pondelok je, aby sa nový kód dodával za príznakom, ktorý sa začína vypnutý.

Pozrite si túto časť 2:33 · status.cloud.google.com · blog.cloudflare.com

Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

Prázdne pole, nulový ukazovateľ, každý región

0:00 Riadok politiky s prázdnymi poľami narazí na nulový ukazovateľ a Google Cloud zlyhá v každom regióne naraz — a Cloudflare padne s ním, potom nazýva Google „poskytovateľom tretej strany“. 12. júna 2025, 17:49 UTC. Správa Google: Service Control, binárny súbor, ktorý schvaľuje každú požiadavku API, v slučke pádu na tri hodiny. Cloudflare, ten istý večer: Workers KV, deväťdesiat percent zlyháva, dve hodiny dvadsaťosem.

0:23 Ako sa to stalo, prečo jedno prázdne pole šlo globálne za sekundy, a kto nesie vinu. Toto je The Daily Diff, postmortem. 29. máj. Service Control dostane novú kontrolu kvót, dodávanú región po regióne s

Časová os: 29. máj → 17:45 → slučka pádu → červené tlačidlo → 17:52 Cloudflare

0:35 červeným tlačidlom — ale nová kódová cesta sa nikdy nespustí počas zavádzania; nič ju nespustí ešte. Žiadna kontrola nulových hodnôt. Žiadny príznak funkcie. 17:45. Zmena politiky s prázdnymi poľami sa dostane do tabuľky Spanner. Kvóta je globálna, takže riadok sa replikuje všade v priebehu sekúnd. Každý binárny súbor Service Control ho prečíta, narazí na nulový ukazovateľ, spadne, reštartuje sa, prečíta ho znova. Každé volanie API: 503.

0:55 Google je rýchly: triedenie za dve minúty, príčina za desať. Červené tlačidlo je vonku za štyridsať a menšie regióny sa zotavujú prvé. Stavová stránka zverejní svoju prvú aktualizáciu o hodinu, pretože beží na Google Cloud. 17:52. Tím WARP od Cloudflare vidí, že nové zariadenia sa nedokážu zaregistrovať. Workers KV, úložisko, ktoré polovica Cloudflare používa pre konfiguráciu a identitu, žije na cloude tretej strany. Access zlyhá pri každom prihlásení — podľa návrhu zlyhá zatvorený.

1:20 Workers AI zlyhá pri každej inferencii. 19:11, Gergely Orosz: dva nezávislé cloudy naraz dole, nikdy predtým nevidené. 19:32, podpora Google hovorí užívateľovi, že nie sú známe žiadne výpadky — skúste vymazať vaše cookies. Všetko ostatné sa zotaví do 19:48.

us-central1: efekt stáda

1:34 us-central1 nie: reštartujúce sa úlohy preťažujú tú istú tabuľku Spanner, žiadne náhodné oneskorenie, takže Google ich manuálne škrtí. Dve hodiny štyridsať. Jedna: kontrola politiky sedí v ceste požiadavky; keď kontrola zomrie,

Mechanizmus: kontrola v ceste požiadavky, globálna replikácia, jeden dodávateľ

1:46 API zomrie. Dve: dáta kvót idú globálne bez stagingu; zlý riadok je globálny riadok. Tri: Cloudflare vedel. Workers KV bolo uprostred migrácie na vlastné R2, znížené na jedného poskytovateľa — postmortem to nazýva medzerou v pokrytí.

git blame — rozdelenie

2:00 git blame. Google, päťdesiatpäť percent: žiadna kontrola nulových hodnôt, žiadny príznak funkcie, žiadne oneskorenie — ich správa hovorí, že príznak by to zachytil v stagingu. Globálna replikácia, dvadsať: jeden riadok, každý región, sekúnd. Cloudflare, dvadsať: polovica produktového radu na obchode jedného dodávateľa, a postmortem, ktoré nikdy nehovorí Google. Stavová stránka, päť, za to, že žije na tom, o čom informuje. Polomer výbuchu: sedemdesiat produktov Google Cloud, desať aplikácií Workspace,

Polomer výbuchu

2:23 každý región. Tri hodiny. Na Cloudflare: Access, WARP, Workers AI, Pages, Stream — dva a pol. Hacker News, štrnásťsto bodov; najlepší komentár: stavová stránka je zelená.

Rozsudok + pondelková linka

2:33 Verdikt, postmortem: SHIP IT. Oba postmortemy pristanú do tridsiatich hodín, oba vinia seba, a opravy Google sú konkrétne: fail open, príznaky predvolene vypnuté, exponenciálne oneskorenie. Pondelková linka: nový kód za príznakom, ktorý sa dodáva vypnutý, a kontrola nulových hodnôt tam, kde prichádzajú dáta. Pošlite mi incident, o ktorom stále nesmiete hovoriť, v komentároch, alebo na the daily diff dot dev. A to je the diff pre dnes.

2:53 Som Niko z Axrisi. Merge responsibly.

Zdroje

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Súvisiace videá