+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud hrundi vegna auðs reits. Þrjár klukkustundir.

Stöðustillingarlína með nokkrum auðum reitum veldur núllvísunarvillu og Google Cloud hrynur á öllum svæðum í einu – síðan fellur Cloudflare með því.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Stöðustillingarlína með nokkrum auðum reitum veldur núllvísunarvillu og Google Cloud hrynur á öllum svæðum í einu – síðan fellur Cloudflare með því. 12. júní 2025, 17:49 UTC: Service Control, forritið sem samþykkir hverja Google Cloud API beiðni, les kvóta-stefnubreytingu með „óvart auðum reitum“, lendir í kóðabraut sem var send út tveimur vikum fyrr án núllprófunar og án eiginleikafána, og fer í hrunferli á öllum svæðum – línan hafði verið afrituð á heimsvísu á nokkrum sekúndum. Ytri API skilja 503 eftir í þrjár klukkustundir; us-central1 tekur 2 klst. 40 mín. vegna þess að endurræsingarverkefnin rjúka á sömu Spanner töfluna án tilviljanakenndrar biðtíma. Þremur mínútum eftir truflun Google missir Workers KV hjá Cloudflare – en uppspretta sannleikans er á „þriðja aðila skýþjónustu“ – 90% af beiðnum, og Access, WARP, Workers AI, Pages, Stream og Turnstile falla með því í 2 klst. 28 mín. Stöðusíða Google birtir fyrstu uppfærslu sína klukkustund of seint, vegna þess að hún keyrir á Google Cloud.

Lestu skriflegu útgáfuna (enska) ↗

Það sem þetta myndband fjallar um

  • Auður reitur, núllvísir, hvert svæði
  • Tímalína: 29. maí → 17:45 → hrunferill → rauður hnappur → 17:52 Cloudflare
  • us-central1: hjarðáhrifin
  • Vélbúnaður: athugun í beiðnileiðinni, alþjóðleg afritun, einn söluaðili
  • git blame — skiptingin

Spurningar og svör

Hvað olli Google Cloud þjónustustöðvuninni 12. júní 2025?

Kvóta-stefnureglulína með auðum reitum lét Service Control, tvíundarforritið sem samþykkir hverja Google Cloud API beiðni, hrynja. Samkvæmt atviksskýrslu Google, lenti línan í kóðaslóð án null-athugunar og án eiginleikafána, og tvíundarforritið fór í hrunlykkju á hverju svæði. Ytri API skiluðu 503 villum í um þrjár klukkustundir.

Horfa á þennan hluta 0:32 · status.cloud.google.com

Af hverju getur endurræsing þjónustu lengt þjónustustöðvun í einu svæði?

Mörg verkefni sem endurræsa á sama tíma geta ofhlaðið sama sameiginlega gagnagrunninn. Í us-central1, yfirhlóðuðu endurræsingarverkefni Google eina Spanner töflu án slembinnar seinkunar, svo Google takmarkaði þau handvirkt. Það tók tvær klukkustundir og fjörutíu mínútur að jafna sig á því svæði, en önnur svæði jöfnuðu sig fyrir kl. 19:48.

Horfa á þennan hluta 1:32 · status.cloud.google.com

Af hverju biluðu Cloudflare þjónustur þegar Google Cloud fór niður?

Workers KV frá Cloudflare hélt sínum sannleiksgildi á þriðja aðila skýþjónustu. Samkvæmt Cloudflare missti Workers KV 90% beiðna, og Access, WARP, Workers AI, Pages, Stream og Turnstile fóru niður með því í 2 klst. 28 mín. Þátturinn tekur fram að Workers KV var í miðri flutningi yfir á R2 geymslu Cloudflare sjálfs.

Horfa á þennan hluta 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Hvernig geta teymi komið í veg fyrir að slæm stillingarlína valdi því að þjónusta hrynji á hverju svæði?

Þrjár venjur fylgja þessu atviki. Haltu nýjum kóða á bak við eiginleikafána sem er sendur út, athugaðu hvort null sé til staðar þar sem gögn koma inn, og settu kvótgögn í stjórnun í stað þess að afrita þau á heimsvísu í einu. Skýrsla Google segir að fáni hefði fundið villuna í stjórnunarferli, og lagfæringar þess innihalda „failing open“ og veldisvaxandi seinkun.

Horfa á þennan hluta 1:43 · status.cloud.google.com

Setja Google Cloud og Cloudflare eftirá-skýrslurnar frá 12. júní gott fordæmi fyrir atviksskýrslur?

Dómur The Daily Diff var SHIP IT. Báðar eftirá-skýrslurnar bárust innan þrjátíu klukkustunda og báðar kenndu eigin fyrirtækjum um. Lagfæringar Google voru áþreifanlegar, nefnilega „fail open“, fánar sjálfgefið slökktir og veldisvaxandi seinkun. Lærdómurinn fyrir mánudag er að senda nýjan kóða út á bak við fána sem er sjálfgefið slökktur.

Horfa á þennan hluta 2:33 · status.cloud.google.com · blog.cloudflare.com

Þýtt afrit

Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.

Auður reitur, núllvísir, hvert svæði

0:00 Stöðustillingarlína með auðum reitum veldur núllvísunarvillu og Google Cloud hrynur í öllum svæðum í einu — og Cloudflare fellur með því, kallar Google síðan „þriðja aðila þjónustuaðila“. 12. júní 2025, 17:49 UTC. Skýrsla Google: Service Control, forritið sem samþykkir hverja API beiðni, í hrunferli í þrjár klukkustundir. Cloudflare's, sama kvöld: Workers KV, nítíu prósent bilað, tvær klukkustundir tuttugu og átta.

0:23 Hvernig þetta gerðist, hvers vegna einn auður reitur fór á heimsvísu á sekúndum, og hverjum er um að kenna. Þetta er The Daily Diff, eftirfylgni. 29. maí. Service Control fær nýja kvótaathugun, send út svæði fyrir svæði með

Tímalína: 29. maí → 17:45 → hrunferill → rauður hnappur → 17:52 Cloudflare

0:35 rauðum hnappi — en nýja kóðaleiðin keyrir aldrei við útfærslu; ekkert virkjar hana ennþá. Engin núllathugun. Enginn eiginleikafáni. 17:45. Stöðustillingabreyting með auðum reitum lendir í Spanner töflunni. Kvóti er alþjóðlegur, svo línan afritast alls staðar innan nokkurra sekúndna. Hvert Service Control forrit les hana, lendir í núllvísi, hrynur, endurræsir, les hana aftur. Hvert API kall: 503.

0:55 Google er hratt: forgangsröðun á tveimur mínútum, rótarástæða á tíu. Rauði hnappurinn er úti á fjörutíu, og minni svæði jafna sig fyrst. Stöðusíðan birtir fyrstu uppfærslu sína klukkutíma of seint, því hún keyrir á Google Cloud. 17:52. WARP teymi Cloudflare sér ný tæki ekki skrá sig. Workers KV, geymsluhelmingurinn sem Cloudflare notar fyrir stillingar og auðkenni, er á skýi þriðja aðila. Access mistekst allar innskráningar — samkvæmt hönnun, mistekst hún lokað.

1:20 Workers AI mistekst allar ályktanir. 19:11, Gergely Orosz: tvö óháð ský niðri í einu, aldrei séð áður. 19:32, þjónustudeild Google segir notanda að engar þekktar truflanir séu — prófið að hreinsa vafrakökurnar ykkar. Alls staðar annars staðar jafnar sig fyrir 19:48.

us-central1: hjarðáhrifin

1:34 us-central1 gerir það ekki: endurræsingarverkefni rjúka á sömu Spanner töfluna, engin tilviljanakennd biðtími, svo Google hamlar þeim handvirkt. Tvær klukkustundir fjörutíu. Eitt: stöðustillingarathugunin er inni í beiðnileiðinni; þegar athugunin deyr,

Vélbúnaður: athugun í beiðnileiðinni, alþjóðleg afritun, einn söluaðili

1:46 deyr API. Tvö: kvótagögn fara á heimsvísu án stigsetningar; slæm lína er alþjóðleg lína. Þrjú: Cloudflare vissi. Workers KV var í miðri flutningi á eigin R2, niður í einn þjónustuaðila — eftirfylgnin kallar þetta skarð í umfjöllun.

git blame — skiptingin

2:00 git blame. Google, fimmtíu og fimm prósent: engin núllathugun, enginn eiginleikafáni, enginn biðtími — skýrsla þeirra segir að fáni hefði náð því í stigsetningu. Alþjóðleg afritun, tuttugu: ein lína, hvert svæði, sekúndur. Cloudflare, tuttugu: helmingur af vörulínu á verslun eins söluaðila, og eftirfylgni sem segir aldrei Google. Stöðusíðan, fimm, fyrir að vera á því sem hún segir frá. Sprengisvæði: sjötíu Google Cloud vörur, tíu Workspace forrit,

Sprengisvæði

2:23 hvert svæði. Þrjár klukkustundir. Hjá Cloudflare: Access, WARP, Workers AI, Pages, Stream — tvær og hálf. Hacker News, fjórtán hundruð stig; efsta athugasemd: stöðusíðan er græn.

Dómur + mánudagslínan

2:33 Dómur, eftirfylgni: SHIP IT. Báðar eftirfylgnirnar berast innan þrjátíu klukkustunda, báðar kenna sjálfum sér um, og lagfæringar Google eru áþreifanlegar: opna fyrir bilun, fánar slökktir sjálfgefið, veldisvísis biðtími. Mánudagslínan: nýr kóði á bak við fána sem sendur er út, og núllathugun þar sem gögnin koma inn. Sendið mér atvikið sem ykkur er enn ekki leyft að tala um, í athugasemdum, eða á the daily diff dot dev. Og það er munurinn fyrir í dag.

2:53 Ég er Niko frá Axrisi. Sameinið á ábyrgan hátt.

Heimildir

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Tengd myndbönd