Google Cloud u rrëzua në një fushë të zbrazët. Tre orë.

Çfarë mbulon kjo video

• Një fushë e zbrazët, një tregues null, çdo rajon
• Afati kohor: 29 maj → 17:45 → cikël rrëzimi → buton i kuq → 17:52 Cloudflare
• us-central1: efekti i tufës
• Mekanizmi: kontrolloni në shtegun e kërkesës, replikim global, një shitës
• git blame — ndarja

Transkript i përkthyer

Përkthyer nga tregimi origjinal në anglisht. Audio dhe titrat e disponueshme kontrollohen nga YouTube.

Një fushë e zbrazët, një tregues null, çdo rajon

0:00 Një rresht politikash me fusha të zbrazëta godet një tregues null, dhe Google Cloud rrëzohet në çdo rajon menjëherë — dhe Cloudflare bie me të, pastaj e quan Google "një ofrues i palës së tretë". 12 qershor 2025, 17:49 UTC. Raporti i Google: Kontrolli i Shërbimeve, binarja që miraton çdo kërkesë API, në një cikël rrëzimi për tre orë. Cloudflare, të njëjtën mbrëmje: Workers KV, nëntëdhjetë për qind dështime, dy orë e njëzet e tetë.

0:23 Si ndodhi, pse një fushë e zbrazët u bë globale në sekonda, dhe kush merr fajin. Ky është The Daily Diff, postmortem. 29 maj. Kontrolli i Shërbimeve merr një kontroll të ri kuotash, i dërguar rajon pas rajoni me një

Afati kohor: 29 maj → 17:45 → cikël rrëzimi → buton i kuq → 17:52 Cloudflare

0:35 buton të kuq — por shtegu i ri i kodit nuk ekzekutohet kurrë gjatë shpërndarjes; asgjë nuk e ndez ende. Pa kontroll null. Pa flamur veçorie. 17:45. Një ndryshim politikash me fusha të zbrazëta zbret në tabelën Spanner. Kuota është globale, kështu që rreshti replikohet kudo brenda sekondave. Çdo binar i Kontrollit të Shërbimeve e lexon, godet treguesin null, rrëzohet, riniset, e lexon përsëri. Çdo thirrje API: 503.

0:55 Google është e shpejtë: triazh në dy minuta, shkak rrënjësor në dhjetë. Butoni i kuq është jashtë në dyzet, dhe rajonet e vogla rikuperohen të parat. Faqja e statusit poston përditësimin e saj të parë pas një ore, sepse funksionon në Google Cloud. 17:52. Ekipi WARP i Cloudflare sheh pajisje të reja që nuk regjistrohen. Workers KV, gjysma e ruajtjes që Cloudflare përdor për konfigurim dhe identitet, jeton në një cloud të palës së tretë. Access dështon çdo hyrje — me dizajn, dështon i mbyllur.

1:20 Workers AI dështon çdo inferencë. 19:11, Gergely Orosz: dy cloud të pavarur bien menjëherë, nuk është parë kurrë më parë. 19:32, mbështetja e Google i thotë një përdoruesi se nuk ka ndërprerje të njohura — provoni të pastroni cookies tuaja. Kudo tjetër rikuperohet deri në 19:48.

us-central1: efekti i tufës

1:34 us-central1 nuk rikuperohet: detyrat e rinisjes sulmojnë të njëjtën tabelë Spanner, pa ndërprerje të rastësishme, kështu që Google i kufizon me dorë. Dy orë e dyzet. Një: kontrolli i politikave ndodhet brenda shtegut të kërkesës; kur kontrolli vdes,

Mekanizmi: kontrolloni në shtegun e kërkesës, replikim global, një shitës

1:46 API vdes. Dy: të dhënat e kuotave bëhen globale pa fazë provash; një rresht i keq është një rresht global. Tre: Cloudflare e dinte. Workers KV ishte në mes të migrimit në R2-in e vet, duke rënë në një ofrues — postmortem e quan atë një boshllëk në mbulim.

git blame — ndarja

2:00 git blame. Google, pesëdhjetë e pesë për qind: pa kontroll null, pa flamur veçorie, pa ndërprerje — raporti i tyre thotë se një flamur do ta kishte kapur në fazën e provave. Replikimi global, njëzet: një rresht, çdo rajon, sekonda. Cloudflare, njëzet: gjysma e një linje produktesh në dyqanin e një shitësi, dhe një postmortem që nuk thotë kurrë Google. Faqja e statusit, pesë, për të jetuar me atë që raporton. Rrezja e shpërthimit: shtatëdhjetë produkte Google Cloud, dhjetë aplikacione Workspace,

Rrezja e shpërthimit

2:23 çdo rajon. Tre orë. Te Cloudflare: Access, WARP, Workers AI, Pages, Stream — dy e gjysmë. Hacker News, katërmbëdhjetëqind pikë; komenti kryesor: faqja e statusit është jeshile.

Vendimi + linja e së hënës

2:33 Vendimi, postmortem: SHIP IT. Të dyja postmortem-et zbarkojnë brenda tridhjetë orësh, të dyja fajësojnë veten, dhe zgjidhjet e Google janë konkrete: dështoni të hapur, flamujt të fikur si parazgjedhje, ndërprerje eksponenciale. Linja e së hënës: kod i ri pas një flamuri që dërgohet i fikur, dhe një kontroll null aty ku hyjnë të dhënat. Dërgomë incidentin për të cilin ende nuk të lejohet të flasësh, në komente, ose te the daily diff dot dev. Dhe ky është ndryshimi për sot.

2:53 Unë jam Niko nga Axrisi. Bashkohuni me përgjegjësi.

Burimet

1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com