+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud caeu por un campo en branco. Tres horas.

Unha fila de políticas con algúns campos en branco atopa un punteiro nulo, e Google Cloud cae en todas as rexións á vez — entón Cloudflare cae con ela.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Unha fila de políticas con algúns campos en branco atopa un punteiro nulo, e Google Cloud cae en todas as rexións á vez — entón Cloudflare cae con ela. 12 de xuño de 2025, 17:49 UTC: Service Control, o binario que aproba cada solicitude de API de Google Cloud, le un cambio de política de cota con "campos en branco non intencionados", atopa un camiño de código enviado dúas semanas antes sen comprobación de nulos e sen "feature flag", e entra nun bucle de fallo en todas as rexións — a fila replicouse globalmente en segundos. As APIs externas devolven 503 durante tres horas; us-central1 tarda 2 h 40 min porque as tarefas de reinicio estampan a mesma táboa de Spanner sen retroceso aleatorio. Tres minutos despois da caída de Google, Workers KV de Cloudflare — cuxa fonte de verdade reside nun "provedor de nube de terceiros" — perde o 90 % das solicitudes, e Access, WARP, Workers AI, Pages, Stream e Turnstile caen con el durante 2 h 28 min. A páxina de estado de Google publica a súa primeira actualización cunha hora de atraso, porque se executa en Google Cloud.

Ler a edición escrita (inglés) ↗

Que abrangue este vídeo

  • Un campo en branco, un punteiro nulo, todas as rexións
  • Cronoloxía: 29 de maio → 17:45 → bucle de fallo → botón vermello → 17:52 Cloudflare
  • us-central1: o efecto rabaño
  • Mecanismo: comprobación no camiño da solicitude, replicación global, un provedor
  • git blame — a división

Preguntas e respostas

Que causou a interrupción de Google Cloud do 12 de xuño de 2025?

Unha fila de política de cota con campos en branco bloqueou o Control de Servizo, o binario que aproba cada solicitude de API de Google Cloud. Segundo o informe de incidentes de Google, a fila alcanzou unha ruta de código sen verificación de nulo e sen sinalizador de funcións, e o binario entrou nun bucle de fallos en todas as rexións. As API externas devolveron erros 503 durante aproximadamente tres horas.

Ver esta parte 0:32 · status.cloud.google.com

Por que reiniciar os servizos pode facer que unha interrupción da nube dure máis tempo nunha rexión?

Moitas tarefas reiniciando á vez poden sobrecargar a mesma base de datos compartida. En us-central1, as tarefas de reinicio de Google abarrotaron unha táboa de Spanner sen retroceso aleatorio, polo que Google as regulou manualmente. Esa rexión tardou dúas horas e corenta minutos en recuperarse, mentres que outras rexións se recuperaron ás 19:48.

Ver esta parte 1:32 · status.cloud.google.com

Por que fallaron os servizos de Cloudflare cando Google Cloud caeu?

O Workers KV de Cloudflare mantiña a súa fonte de verdade nun provedor de nube de terceiros. Segundo Cloudflare, Workers KV perdeu o 90% das solicitudes, e Access, WARP, Workers AI, Pages, Stream e Turnstile caeron con el durante 2 h 28 min. O episodio sinala que Workers KV estaba en plena migración ao propio almacenamento R2 de Cloudflare.

Ver esta parte 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Como poden os equipos evitar que unha fila de configuración incorrecta bloquee un servizo en todas as rexións?

Desta incidente derívanse tres prácticas. Manter o código novo detrás dun sinalizador de funcións que se envía apagado, verificar os nulos onde entran os datos e escalonar os datos de cota en lugar de replicalos globalmente de inmediato. O informe de Google di que un sinalizador tería detectado o erro en staging, e as súas correccións inclúen fallar en aberto e retroceso exponencial.

Ver esta parte 1:43 · status.cloud.google.com

Os postmortem de Google Cloud e Cloudflare do 12 de xuño son un bo exemplo para os informes de incidentes?

O veredicto de The Daily Diff foi SHIP IT. Ambos os postmortem publicáronse nun prazo de trinta horas e ambos culparon ás súas propias empresas. As correccións de Google foron concretas, a saber, fallar en aberto, sinaladores desactivados por defecto e retroceso exponencial. A clave para o luns é publicar código novo detrás dun sinalador que comeza desactivado.

Ver esta parte 2:33 · status.cloud.google.com · blog.cloudflare.com

Transcrición traducida

Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.

Un campo en branco, un punteiro nulo, todas as rexións

0:00 Unha fila de políticas con campos en branco atopa un punteiro nulo, e Google Cloud cae en todas as rexións á vez — e Cloudflare cae con ela, e logo chama a Google "un provedor de terceiros". 12 de xuño de 2025, 17:49 UTC. Informe de Google: Service Control, o binario que aproba cada solicitude de API, nun bucle de fallo durante tres horas. O de Cloudflare, a mesma noite: Workers KV, noventa por cento fallando, dúas horas vinte e oito.

0:23 Como pasou, por que un campo en branco se volveu global en segundos, e quen ten a culpa. Isto é The Daily Diff, "postmortem". 29 de maio. Service Control obtén unha nova comprobación de cota, enviada rexión por rexión cun

Cronoloxía: 29 de maio → 17:45 → bucle de fallo → botón vermello → 17:52 Cloudflare

0:35 botón vermello — pero o novo camiño de código nunca se executa durante o despregue; nada o activa aínda. Sen comprobación de nulos. Sen "feature flag". 17:45. Un cambio de política con campos en branco chega á táboa de Spanner. A cota é global, polo que a fila se replica en todas partes en segundos. Cada binario de Service Control lelo, atopa o punteiro nulo, falla, reinicia, lelo de novo. Cada chamada á API: 503.

0:55 Google é rápido: triaxe en dous minutos, causa raíz en dez. O botón vermello está fóra en corenta, e as rexións pequenas recupéranse primeiro. A páxina de estado publica a súa primeira actualización unha hora despois, porque se executa en Google Cloud. 17:52. O equipo WARP de Cloudflare ve que os novos dispositivos non se rexistran. Workers KV, o almacén que a metade de Cloudflare usa para configuración e identidade, reside nunha nube de terceiros. Access falla en cada inicio de sesión — por deseño, falla pechado.

1:20 Workers AI falla en cada inferencia. 19:11, Gergely Orosz: dúas nubes independentes caen á vez, nunca visto antes. 19:32, o soporte de Google dille a un usuario que non hai interrupcións coñecidas — "try clearing your cookies". Todas as demais recupéranse ás 19:48.

us-central1: o efecto rabaño

1:34 us-central1 non: as tarefas de reinicio estampan a mesma táboa de Spanner, sen retroceso aleatorio, polo que Google as estrangula manualmente. Dúas horas corenta. Un: a comprobación de políticas está dentro do camiño da solicitude; cando a comprobación morre,

Mecanismo: comprobación no camiño da solicitude, replicación global, un provedor

1:46 a API morre. Dous: os datos de cota vólvense globais sen "staging"; unha fila mala é unha fila global. Tres: Cloudflare sabíao. Workers KV estaba en plena migración ao seu propio R2, ata un provedor — o "postmortem" chámao unha brecha na cobertura.

git blame — a división

2:00 git blame. Google, cincuenta e cinco por cento: sen comprobación de nulos, sen "feature flag", sen retroceso — o seu informe di que unha "flag" o tería detectado en "staging". Replicación global, vinte: unha fila, cada rexión, segundos. Cloudflare, vinte: a metade dunha liña de produtos no almacén dun provedor, e un "postmortem" que nunca di Google. A páxina de estado, cinco, por vivir do que informa. Radio de explosión: setenta produtos de Google Cloud, dez aplicacións de Workspace,

Radio de explosión

2:23 cada rexión. Tres horas. En Cloudflare: Access, WARP, Workers AI, Pages, Stream — dúas e media. Hacker News, mil catrocentos puntos; comentario principal: a páxina de estado está en verde.

Veredito + a liña do luns

2:33 Veredito, "postmortem": SHIP IT. Ambos os "postmortem" chegan en trinta horas, ambos se culpan a si mesmos, e as solucións de Google son concretas: "fail open", "flags off by default", "exponential backoff". A liña do luns: código novo detrás dunha "flag" que se envía apagada, e unha comprobación de nulos onde entran os datos. Envía o incidente do que aínda non tes permitido falar, nos comentarios, ou en "the daily diff dot dev". E ese é o "diff" de hoxe.

2:53 Son Niko de Axrisi. REVERT responsabelmente.

Fontes

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionados