Google Cloud kaatui tyhjään kenttään. Kolme tuntia.

Mitä tämä video käsittelee

• Tyhjä kenttä, null-osoitin, jokainen alue
• Aikajana: 29. toukokuuta → 17:45 → kaatumissilmukka → punainen nappi → 17:52 Cloudflare
• us-central1: laumavaikutus
• Mekanismi: tarkistus pyyntöpolulla, globaali replikointi, yksi toimittaja
• git blame – jako

Käännetty transkriptio

Käännetty alkuperäisestä englanninkielisestä selostuksesta. Käytettävissä olevan äänen ja tekstitysten hallinta tapahtuu YouTuben kautta.

Tyhjä kenttä, null-osoitin, jokainen alue

0:00 Tyhjiä kenttiä sisältävä käytäntörivi osuu null-osoittimeen, ja Google Cloud kaatuu jokaisella alueella kerrallaan – ja Cloudflare kaatuu sen mukana, kutsuen sitten Googlea "kolmannen osapuolen tarjoajaksi". 12. kesäkuuta 2025, 17:49 UTC. Googlen raportti: Service Control, binääri, joka hyväksyy jokaisen API-pyynnön, kaatumissilmukassa kolmen tunnin ajan. Cloudflaren, samana iltana: Workers KV, yhdeksänkymmentä prosenttia epäonnistuu, kaksi tuntia kaksikymmentäkahdeksan minuuttia.

0:23 Miten se tapahtui, miksi yksi tyhjä kenttä levisi maailmanlaajuiseksi sekunneissa, ja kuka saa syytteen. Tämä on The Daily Diff, jälkipyykki. 29. toukokuuta. Service Control saa uuden kiintiötarkistuksen, toimitettuna alueittain

Aikajana: 29. toukokuuta → 17:45 → kaatumissilmukka → punainen nappi → 17:52 Cloudflare

0:35 punaisella napilla – mutta uusi koodipolku ei koskaan käynnisty käyttöönoton aikana; mikään ei käynnistä sitä vielä. Ei null-tarkistusta. Ei ominaisuuslippua. 17:45. Tyhjiä kenttiä sisältävä käytäntömuutos laskeutuu Spanner-taulukkoon. Kiintiö on globaali, joten rivi replikoituu kaikkialle sekunneissa. Jokainen Service Control -binääri lukee sen, osuu null-osoittimeen, kaatuu, käynnistyy uudelleen, lukee sen uudelleen. Jokainen API-kutsu: 503.

0:55 Google on nopea: selvitys kahdessa minuutissa, perussyy kymmenessä. Punainen nappi on poissa neljässäkymmenessä minuutissa, ja pienemmät alueet palautuvat ensin. Tilasivu julkaisee ensimmäisen päivityksensä tunnin kuluttua, koska se toimii Google Cloudissa. 17:52. Cloudflaren WARP-tiimi näkee uusien laitteiden epäonnistuvan rekisteröitymisessä. Workers KV, tallennustila, jota puolet Cloudflaresta käyttää konfiguraatioon ja identiteettiin, elää kolmannen osapuolen pilvessä. Access epäonnistuu jokaisessa kirjautumisessa – suunnittelun mukaan se epäonnistuu suljetusti.

1:20 Workers AI epäonnistuu jokaisessa päättelyssä. 19:11, Gergely Orosz: kaksi itsenäistä pilveä alhaalla yhtä aikaa, ei ole koskaan ennen nähty. 19:32, Googlen tuki kertoo käyttäjälle, ettei tunnettuja häiriöitä ole – yritä tyhjentää evästeesi. Kaikki muut palautuvat klo 19:48 mennessä.

us-central1: laumavaikutus

1:34 us-central1 ei: uudelleenkäynnistyvät tehtävät ryntäävät samaan Spanner-taulukkoon, ei satunnaistettua viivettä, joten Google rajoittaa niitä käsin. Kaksi tuntia neljäkymmentä minuuttia. Yksi: käytäntötarkistus on pyyntöpolun sisällä; kun tarkistus kuolee,

Mekanismi: tarkistus pyyntöpolulla, globaali replikointi, yksi toimittaja

1:46 API kuolee. Kaksi: kiintiötiedot leviävät globaalisti ilman vaiheistusta; huono rivi on globaali rivi. Kolme: Cloudflare tiesi. Workers KV oli siirtymässä omaan R2:een, alas yhteen palveluntarjoajaan – jälkipyykki kutsuu sitä aukoksi kattavuudessa.

git blame – jako

2:00 git blame. Google, viisikymmentäviisi prosenttia: ei null-tarkistusta, ei ominaisuuslippua, ei viivettä – heidän raporttinsa sanoo, että lippu olisi havainnut sen vaiheistuksessa. Globaali replikointi, kaksikymmentä: yksi rivi, jokainen alue, sekunteja. Cloudflare, kaksikymmentä: puolet tuotelinjasta yhden myyjän tallennustilassa, ja jälkipyykki, joka ei koskaan sano Google. Tilasivu, viisi, siitä, että se elää sen varassa, mistä se raportoi. Räjähdysalue: seitsemänkymmentä Google Cloud -tuotetta, kymmenen Workspace-sovellusta,

Räjähdysalue

2:23 jokainen alue. Kolme tuntia. Cloudflaressa: Access, WARP, Workers AI, Pages, Stream – kaksi ja puoli. Hacker News, neljätoista sataa pistettä; suosituin kommentti: tilasivu on vihreä.

Tuomio + maanantairivi

2:33 Tuomio, jälkipyykki: SHIP IT. Molemmat jälkipuinnit laskeutuvat kolmenkymmenen tunnin kuluessa, molemmat syyttävät itseään, ja Googlen korjaukset ovat konkreettisia: fail open, liput pois päältä oletuksena, eksponentiaalinen viive. Maanantain rivi: uusi koodi lipun takana, joka toimitetaan pois päältä, ja null-tarkistus, kun tiedot tulevat sisään. Lähetä minulle tapaus, josta et saa vieläkään puhua, kommenteissa tai osoitteeseen the daily diff dot dev. Ja siinäpä diffi tältä päivältä.

2:53 Olen Niko Axrisista. Yhdistä vastuullisesti.

Lähteet

1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com