Google Cloud zlyhal na prázdnom poli. Tri hodiny.
Riadok politiky s niekoľkými prázdnymi poľami narazí na nulový ukazovateľ a Google Cloud narazí vo všetkých regiónoch naraz — potom s ním padne aj Cloudflare.
Riadok politiky s niekoľkými prázdnymi poľami narazí na nulový ukazovateľ a Google Cloud narazí vo všetkých regiónoch naraz — potom s ním padne aj Cloudflare. 12. júna 2025, 17:49 UTC: Service Control, binárny súbor, ktorý schvaľuje každú požiadavku API Google Cloud, prečíta zmenu kvótovej politiky s „neúmyselnými prázdnymi poľami“, narazí na kódovú cestu dodanú o dva týždne skôr bez kontroly nulových hodnôt a bez príznaku funkcie a prejde do slučky pádu v každom regióne — riadok sa replikoval globálne v priebehu sekúnd. Externé API vracajú 503 na tri hodiny; us-central1 trvá 2 h 40 min, pretože reštartujúce sa úlohy preťažujú tú istú tabuľku Spanner bez náhodného oneskorenia. Tri minúty po výpadku Google stratí Workers KV od Cloudflare — ktorého zdroj pravdy sa nachádza u „poskytovateľa cloudových služieb tretej strany“ — 90 % požiadaviek a Access, WARP, Workers AI, Pages, Stream a Turnstile s ním padnú na 2 h 28 min. Stavová stránka Google zverejní svoju prvú aktualizáciu o hodinu neskôr, pretože beží na Google Cloud.
Prečítajte si písanú edíciu (anglicky) ↗
Čo toto video pokrýva
- Prázdne pole, nulový ukazovateľ, každý región
- Časová os: 29. máj → 17:45 → slučka pádu → červené tlačidlo → 17:52 Cloudflare
- us-central1: efekt stáda
- Mechanizmus: kontrola v ceste požiadavky, globálna replikácia, jeden dodávateľ
- git blame — rozdelenie
Preložený prepis
Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.
Prázdne pole, nulový ukazovateľ, každý región
0:00 Riadok politiky s prázdnymi poľami narazí na nulový ukazovateľ a Google Cloud zlyhá v každom regióne naraz — a Cloudflare padne s ním, potom nazýva Google „poskytovateľom tretej strany“. 12. júna 2025, 17:49 UTC. Správa Google: Service Control, binárny súbor, ktorý schvaľuje každú požiadavku API, v slučke pádu na tri hodiny. Cloudflare, ten istý večer: Workers KV, deväťdesiat percent zlyháva, dve hodiny dvadsaťosem.
0:23 Ako sa to stalo, prečo jedno prázdne pole šlo globálne za sekundy, a kto nesie vinu. Toto je The Daily Diff, postmortem. 29. máj. Service Control dostane novú kontrolu kvót, dodávanú región po regióne s
Časová os: 29. máj → 17:45 → slučka pádu → červené tlačidlo → 17:52 Cloudflare
0:35 červeným tlačidlom — ale nová kódová cesta sa nikdy nespustí počas zavádzania; nič ju nespustí ešte. Žiadna kontrola nulových hodnôt. Žiadny príznak funkcie. 17:45. Zmena politiky s prázdnymi poľami sa dostane do tabuľky Spanner. Kvóta je globálna, takže riadok sa replikuje všade v priebehu sekúnd. Každý binárny súbor Service Control ho prečíta, narazí na nulový ukazovateľ, spadne, reštartuje sa, prečíta ho znova. Každé volanie API: 503.
0:55 Google je rýchly: triedenie za dve minúty, príčina za desať. Červené tlačidlo je vonku za štyridsať a menšie regióny sa zotavujú prvé. Stavová stránka zverejní svoju prvú aktualizáciu o hodinu, pretože beží na Google Cloud. 17:52. Tím WARP od Cloudflare vidí, že nové zariadenia sa nedokážu zaregistrovať. Workers KV, úložisko, ktoré polovica Cloudflare používa pre konfiguráciu a identitu, žije na cloude tretej strany. Access zlyhá pri každom prihlásení — podľa návrhu zlyhá zatvorený.
1:20 Workers AI zlyhá pri každej inferencii. 19:11, Gergely Orosz: dva nezávislé cloudy naraz dole, nikdy predtým nevidené. 19:32, podpora Google hovorí užívateľovi, že nie sú známe žiadne výpadky — skúste vymazať vaše cookies. Všetko ostatné sa zotaví do 19:48.
us-central1: efekt stáda
1:34 us-central1 nie: reštartujúce sa úlohy preťažujú tú istú tabuľku Spanner, žiadne náhodné oneskorenie, takže Google ich manuálne škrtí. Dve hodiny štyridsať. Jedna: kontrola politiky sedí v ceste požiadavky; keď kontrola zomrie,
Mechanizmus: kontrola v ceste požiadavky, globálna replikácia, jeden dodávateľ
1:46 API zomrie. Dve: dáta kvót idú globálne bez stagingu; zlý riadok je globálny riadok. Tri: Cloudflare vedel. Workers KV bolo uprostred migrácie na vlastné R2, znížené na jedného poskytovateľa — postmortem to nazýva medzerou v pokrytí.
git blame — rozdelenie
2:00 git blame. Google, päťdesiatpäť percent: žiadna kontrola nulových hodnôt, žiadny príznak funkcie, žiadne oneskorenie — ich správa hovorí, že príznak by to zachytil v stagingu. Globálna replikácia, dvadsať: jeden riadok, každý región, sekúnd. Cloudflare, dvadsať: polovica produktového radu na obchode jedného dodávateľa, a postmortem, ktoré nikdy nehovorí Google. Stavová stránka, päť, za to, že žije na tom, o čom informuje. Polomer výbuchu: sedemdesiat produktov Google Cloud, desať aplikácií Workspace,
Polomer výbuchu
2:23 každý región. Tri hodiny. Na Cloudflare: Access, WARP, Workers AI, Pages, Stream — dva a pol. Hacker News, štrnásťsto bodov; najlepší komentár: stavová stránka je zelená.
Rozsudok + pondelková linka
2:33 Verdikt, postmortem: SHIP IT. Oba postmortemy pristanú do tridsiatich hodín, oba vinia seba, a opravy Google sú konkrétne: fail open, príznaky predvolene vypnuté, exponenciálne oneskorenie. Pondelková linka: nový kód za príznakom, ktorý sa dodáva vypnutý, a kontrola nulových hodnôt tam, kde prichádzajú dáta. Pošlite mi incident, o ktorom stále nesmiete hovoriť, v komentároch, alebo na the daily diff dot dev. A to je the diff pre dnes.
2:53 Som Niko z Axrisi. Merge responsibly.
Zdroje
- Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
- Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
- Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
- Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
- @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
- Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
- Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
- Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
- Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com
