+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud падна поради празно поле. Три часа.

Ред на политика со неколку празни полиња наидува на null покажувач, и Google Cloud паѓа во секој регион одеднаш — потоа и Cloudflare паѓа со него.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Ред на политика со неколку празни полиња наидува на null покажувач, и Google Cloud паѓа во секој регион одеднаш — потоа и Cloudflare паѓа со него. 12 јуни 2025 година, 17:49 UTC: Service Control, бинарната датотека која одобрува секое барање за API на Google Cloud, чита промена на политиката за квоти со „ненамерни празни полиња“, наидува на патека на код испратена две недели порано без проверка за null и без знаменце за функција, и влегува во циклус на пад во секој регион — редот се реплицирал глобално за неколку секунди. Надворешните API враќаат 503 три часа; us-central1 трае 2 часа и 40 минути бидејќи задачите што се рестартираат ја оптоваруваат истата табела Spanner без случајно одложување. Три минути по прекинот на Google, Workers KV на Cloudflare — чиј извор на вистина се наоѓа на „облак провајдер од трета страна“ — губи 90% од барањата, и Access, WARP, Workers AI, Pages, Stream и Turnstile паѓаат со него 2 часа и 28 минути. Страницата за статус на Google ја објавува својата прва надградба еден час доцна, бидејќе работи на Google Cloud.

Прочитајте го пишаното издание (англиски) ↗

Што покрива ова видео

  • Празно поле, null покажувач, секој регион
  • Временска рамка: 29 мај → 17:45 → циклус на пад → црвено копче → 17:52 Cloudflare
  • us-central1: ефектот на стадо
  • Механизам: проверка во патеката за барање, глобална репликација, еден продавач
  • git blame — поделбата

Прашања и одговори

Што ја предизвика прекинатата работа на Google Cloud на 12 јуни 2025 година?

Ред со политики за квоти со празни полиња го сруши Service Control, бинарната програма која ги одобрува сите барања за Google Cloud API. Според извештајот за инцидентот на Google, редот погоди патека на код без проверка на нула вредност и без знаменце за функција, а бинарната програма влезе во циклус на паѓање во секој регион. Надворешните API враќаа 503 грешки околу три часа.

Гледајте го овој дел 0:32 · status.cloud.google.com

Зошто рестартирањето на услугите може да го продолжи прекинот на облакот во еден регион?

Многу задачи кои се рестартираат одеднаш можат да ја преоптоварат истата споделена база на податоци. Во us-central1, задачите за рестартирање на Google го преплавија една Spanner табела без рандомизирано одложување, па Google рачно ги ограничи. На тој регион му требаа два часа и четириесет минути да се опорави, додека другите региони се опоравија до 19:48 часот.

Гледајте го овој дел 1:32 · status.cloud.google.com

Зошто услугите на Cloudflare откажаа кога Google Cloud престана да работи?

Workers KV на Cloudflare го чуваше својот извор на вистина кај провајдер на облак од трета страна. Според Cloudflare, Workers KV изгуби 90% од барањата, а Access, WARP, Workers AI, Pages, Stream и Turnstile паднаа со него 2 часа и 28 минути. Епизодата забележува дека Workers KV беше во средина на миграција кон сопственото R2 складирање на Cloudflare.

Гледајте го овој дел 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Како тимовите можат да спречат лош ред за конфигурација да сруши услуга во секој регион?

Три практики произлегуваат од овој инцидент. Чувајте го новиот код зад знаменце за функција што е исклучено, проверете за нула вредности каде што влегуваат податоците и поставувајте ги податоците за квоти наместо да ги реплицирате глобално одеднаш. Извештајот на Google вели дека знаменцето би ја открило грешката при поставувањето, а неговите поправки вклучуваат „fail open“ и експоненцијално одложување.

Гледајте го овој дел 1:43 · status.cloud.google.com

Дали постмортемите на Google Cloud и Cloudflare од 12 јуни даваат добар пример за извештаи за инциденти?

Пресудата на The Daily Diff беше SHIP IT. Двата постмортеми беа објавени во рок од триесет часа и двата ги обвинија сопствените компании. Поправките на Google беа конкретни, имено „fail open“, знаменца исклучени по дифолт и експоненцијално одложување. Пораката за понеделник е да се објави нов код зад знаменце што започнува исклучено.

Гледајте го овој дел 2:33 · status.cloud.google.com · blog.cloudflare.com

Преведен транскрипт

Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.

Празно поле, null покажувач, секој регион

0:00 Ред на политика со празни полиња наидува на null покажувач, и Google Cloud паѓа во секој регион одеднаш — и Cloudflare паѓа со него, потоа го нарекува Google „провајдер од трета страна“. 12 јуни 2025 година, 17:49 UTC. Извештајот на Google: Service Control, бинарната датотека која одобрува секое барање за API, во циклус на пад три часа. На Cloudflare, истата вечер: Workers KV, деведесет проценти паѓаат, два часа и дваесет и осум минути.

0:23 Како се случи, зошто едно празно поле стана глобално за неколку секунди, и кој е виновен. Ова е The Daily Diff, постмортем. 29 мај. Service Control добива нова проверка на квотата, испратена регион по регион со

Временска рамка: 29 мај → 17:45 → циклус на пад → црвено копче → 17:52 Cloudflare

0:35 црвено копче — но новата патека на код никогаш не работи за време на распоредувањето; ништо не ја активира сѐ уште. Нема проверка за null. Нема знаменце за функција. 17:45. Промена на политиката со празни полиња слетува во табелата Spanner. Квотата е глобална, па редот се реплицира насекаде за неколку секунди. Секоја бинарна датотека на Service Control ја чита, наидува на null покажувачот, паѓа, се рестартира, повторно ја чита. Секој API повик: 503.

0:55 Google е брз: тријажа за две минути, основна причина за десет. Црвеното копче е исклучено за четириесет, и малите региони се опоравуваат први. Страницата за статус ја објавува својата прва надградба еден час подоцна, бидејќи работи на Google Cloud. 17:52. Тимот WARP на Cloudflare гледа дека новите уреди не успеваат да се регистрираат. Workers KV, продавницата што половина од Cloudflare ја користи за конфигурација и идентитет, живее на облак од трета страна. Access не успева при секое најавување — по дизајн, не успева затворено.

1:20 Workers AI не успева при секое заклучување. 19:11, Гергели Орош: два независни облака паднаа одеднаш, никогаш претходно невидено. 19:32, поддршката на Google му кажува на корисникот дека нема познати прекини — обидете се да ги исчистите колачињата. Насекаде на друго место се опоравува до 19:48.

us-central1: ефектот на стадо

1:34 us-central1 не: задачите што се рестартираат ја оптоваруваат истата табела Spanner, без случајно одложување, па Google ги регулира рачно. Два часа и четириесет минути. Еден: проверката на политиката е во патеката за барање; кога проверката ќе умре,

Механизам: проверка во патеката за барање, глобална репликација, еден продавач

1:46 API умира. Два: податоците за квотата стануваат глобални без сценско прикажување; лош ред е глобален ред. Три: Cloudflare знаеше. Workers KV беше во средина на миграција кон сопствен R2, намалено на еден провајдер — постмортемот го нарекува празнина во покривањето.

git blame — поделбата

2:00 git blame. Google, педесет и пет проценти: нема проверка за null, нема знаменце за функција, без одложување — нивниот извештај вели дека знаменце би го фатило во сценско прикажување. Глобална репликација, дваесет: еден ред, секој регион, секунди. Cloudflare, дваесет: половина производна линија на продавница на еден продавач, и постмортем што никогаш не кажува Google. Страницата за статус, пет, за живеење на она за што известува. Радиус на експлозија: седумдесет производи на Google Cloud, десет апликации на Workspace,

Радиус на експлозија

2:23 секој регион. Три часа. На Cloudflare: Access, WARP, Workers AI, Pages, Stream — два и пол. Hacker News, илјада и четиристотини поени; врвен коментар: страницата за статус е зелена.

Пресуда + понеделничката линија

2:33 Пресуда, постмортем: SHIP IT. Двата постмортеми слетуваат во рок од триесет часа, и двата се обвинуваат себеси, и поправките на Google се конкретни: откажете се отворено, знаменцата исклучени по дифолт, експоненцијално одложување. Понеделничката линија: нов код зад знаменце кое се испраќа исклучено, и проверка за null каде што доаѓаат податоците. Испратете ми го инцидентот за кој сѐ уште не ви е дозволено да зборувате, во коментарите, или на the daily diff dot dev. И тоа е разликата за денес.

2:53 Јас сум Нико од Axrisi. Спојувајте одговорно.

Извори

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Поврзани видеа

postmortem · mk · 25 сеп. 2026 г.

Една милисекундна грешка го запре воздушниот сообраќај во Велика Британија. Шест часа.

Во 10:00 часот во вторник, 8 септември, едно рутинско барање за squawk-код во Националниот воздушен систем (NAS) на NATS е прекинато од порака со повисок приоритет додека делумно ажурира вредност. Про

3:06 ↗
postmortem · mk · 22 сеп. 2026 г.

Рестартирањето ја врати Телстра во 2006 година. Девет милиони телефони.

Инженер во Мелбурн повторно вклучува временски шасија во 2:50 часот по полноќ, и до појадок најголемата мобилна мрежа во Австралија се согласува дека е ноември 2006 година. 8 јули 2026 година: GPS кар

3:15 ↗