+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud се срина заради празно поле. Три часа.

Ред от политика с няколко празни полета удря нулев указател и Google Cloud се срива във всеки регион наведнъж — след това Cloudflare пада с него.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Ред от политика с няколко празни полета удря нулев указател и Google Cloud се срива във всеки регион наведнъж — след това Cloudflare пада с него. 12 юни 2025 г., 17:49 UTC: Service Control, бинарният файл, който одобрява всяка заявка на Google Cloud API, прочита промяна в квота политика с „непреднамерени празни полета“, удря път на код, изпратен две седмици по-рано без проверка за нулева стойност и без флаг за функция, и влиза в цикъл на сривове във всеки регион — редът се е репликирал глобално за секунди. Външните API връщат 503 за три часа; us-central1 отнема 2 ч 40 мин, защото рестартиращите задачи нахлуват в една и съща таблица на Spanner без рандомизиран закъснителен механизъм. Три минути след прекъсването на Google, Workers KV на Cloudflare — чийто източник на истина се намира в „доставчик на облачни услуги от трета страна“ — губи 90% от заявките, а Access, WARP, Workers AI, Pages, Stream и Turnstile падат с него за 2 ч 28 мин. Страницата за състоянието на Google публикува първата си актуализация час по-късно, защото работи на Google Cloud.

Прочетете писменото издание (английски) ↗

Какво обхваща този видеоклип

  • Празно поле, нулев указател, всеки регион
  • Хронология: 29 май → 17:45 → цикъл на сривове → червен бутон → 17:52 Cloudflare
  • us-central1: ефектът на стадото
  • Механизъм: проверка в пътя на заявката, глобална репликация, един доставчик
  • git blame — разделянето

Въпроси и отговори

Какво причини прекъсването на Google Cloud на 12 юни 2025 г.?

Ред за политика на квоти с празни полета срина Service Control, двоичният файл, който одобрява всяка заявка към Google Cloud API. Според доклада за инцидента на Google, редът е попаднал в път на кода без проверка за нулева стойност и без флаг за функция, а двоичният файл е влязъл в цикъл на сривове във всеки регион. Външните API върнаха грешки 503 за около три часа.

Гледайте тази част 0:32 · status.cloud.google.com

Защо рестартирането на услуги може да удължи прекъсване на облака в един регион?

Много задачи, които се рестартират едновременно, могат да претоварят една и съща споделена база данни. В us-central1, рестартиращите задачи на Google претовариха една таблица на Spanner без рандомизирано отстъпление, така че Google ги регулира ръчно. Този регион се възстанови за два часа и четиридесет минути, докато другите региони се възстановиха до 19:48 ч.

Гледайте тази част 1:32 · status.cloud.google.com

Защо услугите на Cloudflare се сринаха, когато Google Cloud излезе от строя?

Workers KV на Cloudflare съхраняваше своя източник на истина при доставчик на облачни услуги от трета страна. Според Cloudflare, Workers KV загуби 90% от заявките, а Access, WARP, Workers AI, Pages, Stream и Turnstile се сринаха с него за 2 часа и 28 минути. Епизодът отбелязва, че Workers KV е бил в процес на миграция към собственото R2 хранилище на Cloudflare.

Гледайте тази част 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Как екипите могат да предотвратят срив на услуга във всеки регион поради лош конфигурационен ред?

От този инцидент произтичат три практики. Дръжте новия код зад флаг за функция, който е изключен по подразбиране, проверявайте за нулева стойност там, където постъпват данни, и етапирайте данните за квотите, вместо да ги репликирате глобално наведнъж. Докладът на Google казва, че флаг би уловил грешката по време на етапиране, а неговите корекции включват отказ при отворена връзка и експоненциално отстъпление.

Гледайте тази част 1:43 · status.cloud.google.com

Дали докладите за инциденти на Google Cloud и Cloudflare от 12 юни дават добър пример за доклади за инциденти?

Присъдата на The Daily Diff беше SHIP IT. И двете посмъртни анализа бяха представени в рамките на тридесет часа и двете обвиниха собствените си компании. Корекциите на Google бяха конкретни, а именно: отказ при отворена връзка, флагове изключени по подразбиране и експоненциално отстъпление. Изводът за понеделник е да се пуска нов код зад флаг, който започва изключен.

Гледайте тази част 2:33 · status.cloud.google.com · blog.cloudflare.com

Преведен препис

Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.

Празна поле, нулев указател, всеки регион

0:00 Ред от политика с празни полета удря нулев указател и Google Cloud се срива в всеки регион наведнъж — и Cloudflare пада с него, след което нарича Google „доставчик от трета страна“. 12 юни 2025 г., 17:49 UTC. Докладът на Google: Service Control, бинарният файл, който одобрява всяка API заявка, в цикъл на сривове за три часа. Този на Cloudflare, същата вечер: Workers KV, деветдесет процента неуспешни, два часа двадесет и осем.

0:23 Как се случи, защо едно празно поле стана глобално за секунди, и кой е виновен. Това е The Daily Diff, аутопсия. 29 май. Service Control получава нова проверка на квотата, изпратена регион по регион с

Хронология: 29 май → 17:45 → цикъл на сривове → червен бутон → 17:52 Cloudflare

0:35 червен бутон — но новият път на кода никога не се изпълнява по време на внедряване; нищо не го задейства все още. Без проверка за нулева стойност. Без флаг за функция. 17:45. Промяна в политиката с празни полета попада в таблицата Spanner. Квотата е глобална, така че редът се репликира навсякъде за секунди. Всеки бинарен файл на Service Control го прочита, удря нулевия указател, срива се, рестартира, прочита го отново. Всяко API повикване: 503.

0:55 Google е бърз: отстраняване на проблеми за две минути, основна причина за десет. Червеният бутон е изключен за четиридесет, а малките региони се възстановяват първи. Страницата за състоянието публикува първата си актуализация след час, защото работи на Google Cloud. 17:52. Екипът на WARP на Cloudflare вижда, че новите устройства не успяват да се регистрират. Workers KV, хранилището, което половината от Cloudflare използва за конфигурация и идентичност, живее в облак на трета страна. Access отказва всяко влизане — по дизайн, то се затваря при отказ.

1:20 Workers AI отказва всяко извеждане. 19:11, Гергели Орош: два независими облака паднаха едновременно, никога не е виждано преди. 19:32, поддръжката на Google казва на потребител, че няма известни смущения — опитайте да изчистите бисквитките си. Всичко останало се възстановява до 19:48.

us-central1: ефектът на стадото

1:34 us-central1 не: рестартиращите задачи нахлуват в същата Spanner таблица, без рандомизиран закъснителен механизъм, така че Google ги регулира ръчно. Два часа и четиридесет. Едно: проверката на политиката се намира в пътя на заявката; когато проверката умре,

Механизъм: проверка в пътя на заявката, глобална репликация, един доставчик

1:46 API умира. Две: данни за квотата стават глобални без стейджинг; лошият ред е глобален ред. Три: Cloudflare знаеше. Workers KV беше в процес на миграция към собствен R2, до един доставчик — аутопсията го нарича пропуск в покритието.

git blame — разделянето

2:00 git blame. Google, петдесет и пет процента: без проверка за нулева стойност, без флаг за функция, без закъснителен механизъм — техният доклад казва, че флаг би го уловил на стейджинг. Глобална репликация, двадесет: един ред, всеки регион, секунди. Cloudflare, двадесет: половината продуктова линия в магазина на един доставчик, и аутопсия, която никога не споменава Google. Страницата за състоянието, пет, за това, че живее върху това, за което докладва. Радиус на взрива: седемдесет продукта на Google Cloud, десет приложения на Workspace,

Радиус на взрива

2:23 всеки регион. Три часа. В Cloudflare: Access, WARP, Workers AI, Pages, Stream — два и половина. Hacker News, хиляда и четиристотин точки; най-добър коментар: страницата за състоянието е зелена.

Присъда + линията от понеделник

2:33 Присъда, аутопсия: SHIP IT. И двете аутопсии излизат до тридесет часа, и двете се обвиняват сами, и корекциите на Google са конкретни: провал отворен, флагове изключени по подразбиране, експоненциален закъснителен механизъм. Линията за понеделник: нов код зад флаг, който се изпраща изключен, и проверка за нулева стойност, където идват данните. Изпратете ми инцидента, за който все още не ви е позволено да говорите, в коментарите или на the daily diff dot dev. И това е разликата за днес.

2:53 Аз съм Нико от Axrisi. Обединявайте отговорно.

Източници

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Свързани видеоклипове

postmortem · bg · 25.09.2026 г.

Една милисекунда бъг спря въздушния трафик в Обединеното кралство. За шест часа.

В 10:00 ч. във вторник, 8 септември, едно рутинно искане за squawk-код в Националната система за въздушно пространство (NAS) на NATS е прекъснато от съобщение с по-висок приоритет, докато е в процес н

3:06 ↗