+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud boş sahədə çökdü. Üç saat.

Bir neçə boş sahəsi olan siyasət sətri boş göstərici ilə toqquşur və Google Cloud bütün regionlarda eyni anda çöker — sonra Cloudflare də onunla birlikdə çökür.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Bir neçə boş sahəsi olan siyasət sətri boş göstərici ilə toqquşur və Google Cloud bütün regionlarda eyni anda çöker — sonra Cloudflare də onunla birlikdə çökür. 12 iyun 2025, 17:49 UTC: Hər bir Google Cloud API tələbini təsdiqləyən Service Control, "qəsdən boş sahələr"lə kvota-siyasəti dəyişikliyini oxuyur, iki həftə əvvəl heç bir boş yoxlama və ya funksiya bayrağı olmadan təchiz edilmiş bir kod yolu ilə toqquşur və hər regionda qəza dövrünə girir — sətir saniyələr içində qlobal olaraq replikasiya edilmişdi. Xarici API-lər üç saat ərzində 503 qaytarır; us-central1 2 saat 40 dəqiqə çəkir, çünki yenidən başlayan tapşırıqlar eyni Spanner cədvəlinə təsadüfi geri çəkilmə olmadan hücum edir. Google-un xidmətinin kəsilməsindən üç dəqiqə sonra, "üçüncü tərəf bulud provayderi" üzərində oturan Cloudflare-in Workers KV-si tələblərin 90%-ni itirir və Access, WARP, Workers AI, Pages, Stream və Turnstile onunla birlikdə 2 saat 28 dəqiqə çökür. Google-un status səhifəsi ilk yeniləməsini bir saat gec yerləşdirir, çünki o, Google Cloud üzərində işləyir.

Yazılı nəşri oxuyun (İngiliscə) ↗

Bu videoda nələr əhatə olunur

  • Boş bir sahə, boş bir göstərici, hər region
  • Vaxt qrafiki: May 29 → 17:45 → çöküş dövrü → qırmızı düymə → 17:52 Cloudflare
  • us-central1: sürü effekti
  • Mexanizm: tələb yolunda yoxlama, qlobal replikasiya, bir satıcı
  • git blame — bölgü

Suallar və cavablar

12 iyun 2025-ci il Google Cloud xidmətinin kəsilməsinə nə səbəb oldu?

Boş sahələri olan kvota-siyasət sətri hər bir Google Cloud API sorğusunu təsdiqləyən ikili fayl olan Service Control-u çökdürdü. Google-un insident hesabatına görə, sətir heç bir boş yoxlama və ya funksiya bayrağı olmayan bir kod yoluna düşdü və ikili fayl hər bölgədə qəza dövrünə girdi. Xarici API-lər təxminən üç saat ərzində 503 xətasını qaytardı.

Bu hissəyə baxın 0:32 · status.cloud.google.com

Niyə xidmətlərin yenidən işə salınması bulud xidmətinin bir bölgədə daha uzun müddət kəsilməsinə səbəb ola bilər?

Eyni vaxtda çox sayda tapşırığın yenidən işə salınması eyni paylaşılan verilənlər bazasını yükləyə bilər. us-central1-də Google-un yenidən işə salınan tapşırıqları təsadüfi geri çəkilmə olmadan bir Spanner cədvəlini yüklədi, buna görə Google onları əl ilə tənzimlədi. Digər bölgələr saat 19:48-ə qədər bərpa olunduğu halda, həmin bölgənin bərpası iki saat qırx dəqiqə çəkdi.

Bu hissəyə baxın 1:32 · status.cloud.google.com

Google Cloud işləməyəndə Cloudflare xidmətləri niyə uğursuz oldu?

Cloudflare-in Workers KV-si öz həqiqət mənbəyini üçüncü tərəf bulud provayderində saxlayırdı. Cloudflare-ə görə, Workers KV sorğuların 90%-ni itirdi və Access, WARP, Workers AI, Pages, Stream və Turnstile bununla birlikdə 2 saat 28 dəqiqə ərzində dayandı. Epizod qeyd edir ki, Workers KV Cloudflare-in öz R2 yaddaşına köçürülmə mərhələsində idi.

Bu hissəyə baxın 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Komandalar pis konfiqurasiya sətrinin hər bölgədə bir xidməti çökdürməsinin qarşısını necə ala bilər?

Bu hadisədən üç təcrübə irəli gəlir. Yeni kodu söndürülmüş bir funksiya bayrağının arxasında saxlayın, məlumat daxil olan yerdə boşluqları yoxlayın və kvota məlumatlarını dərhal qlobal olaraq replikasiya etmək əvəzinə mərhələlərlə yerləşdirin. Google-un hesabatında deyilir ki, bir bayraq səhvi sınaq mərhələsində tutardı və onun düzəlişlərinə açıq uğursuzluq və eksponensial geri çəkilmə daxildir.

Bu hissəyə baxın 1:43 · status.cloud.google.com

Google Cloud və Cloudflare-in 12 iyun tarixli postmortemləri insident hesabatları üçün yaxşı bir nümunə təşkil edirmi?

The Daily Diff-in qərarı SHIP IT idi. Hər iki postmortem otuz saat ərzində yerinə yetirildi və hər ikisi öz şirkətlərini günahlandırdı. Google-un düzəlişləri konkret idi, yəni açıq uğursuzluq, defolt olaraq söndürülmüş bayraqlar və eksponensial geri çəkilmə. Bazar ertəsi üçün əsas nəticə, yeni kodu söndürülmüş bir bayrağın arxasında göndərməkdir.

Bu hissəyə baxın 2:33 · status.cloud.google.com · blog.cloudflare.com

Tərcümə olunmuş transkript

Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.

Boş bir sahə, boş bir göstərici, hər region

0:00 Boş sahələri olan siyasət sətri boş göstərici ilə toqquşur və Google Cloud bütün regionlarda eyni anda çöker — və Cloudflare də onunla birlikdə çökür, sonra Google-u "üçüncü tərəf provayderi" adlandırır. 12 iyun 2025, 17:49 UTC. Google-un hesabatı: Hər bir API tələbini təsdiqləyən Service Control, üç saatlıq çöküş dövründə. Cloudflare-in, həmin axşam: Workers KV, doxsan faizi uğursuz, iki saat iyirmi səkkiz.

0:23 Necə oldu, niyə bir boş sahə saniyələr içində qlobal oldu, və günah kimdədir. Bu, The Daily Diff, postmortemdir. 29 may. Service Control yeni kvota yoxlaması əldə edir, regiondan regiona

Vaxt qrafiki: May 29 → 17:45 → çöküş dövrü → qırmızı düymə → 17:52 Cloudflare

0:35 qırmızı düymə ilə göndərilir — lakin yeni kod yolu istifadəyə verilmə zamanı heç vaxt işləmir; heç nə onu işə salmır hələ. Boş yoxlama yoxdur. Funksiya bayrağı yoxdur. 17:45. Boş sahələri olan siyasət dəyişikliyi Spanner cədvəlinə daxil olur. Kvota qlobaldır, buna görə də sətir saniyələr içində hər yerə replikasiya olunur. Hər bir Service Control ikili faylı onu oxuyur, boş göstərici ilə toqquşur, çöker, yenidən başlayır, yenidən oxuyur. Hər bir API çağırışı: 503.

0:55 Google sürətlidir: iki dəqiqədə təcili yardım, on dəqiqədə əsas səbəb. Qırmızı düymə qırx dəqiqədə çıxarılır və kiçik regionlar birinci bərpa olunur. Status səhifəsi ilk yeniləməsini bir saat gec yerləşdirir, çünki o, Google Cloud üzərində işləyir. 17:52. Cloudflare-in WARP komandası yeni cihazların qeydiyyatdan keçmədiyini görür. Workers KV, Cloudflare-in konfiqurasiya və identifikasiya üçün istifadə etdiyi anbarın yarısı, üçüncü tərəf buludunda yaşayır. Access hər girişi uğursuz edir — dizayna görə, o, qapalı uğursuz olur.

1:20 Workers AI hər çıxarışı uğursuz edir. 19:11, Gergely Orosz: iki müstəqil bulud eyni anda çökdü, heç vaxt görülməmişdi. 19:32, Google dəstəyi bir istifadəçiyə heç bir bilinən pozulma olmadığını deyir — təmizləməyə cəhd edin kuki. Hər yerdə 19:48-ə qədər bərpa olunur.

us-central1: sürü effekti

1:34 us-central1 deyil: yenidən başlayan tapşırıqlar eyni Spanner cədvəlinə hücum edir, təsadüfi geri çəkilmə yoxdur, buna görə də Google onları əllə tənzimləyir. İki saat qırx. Bir: siyasət yoxlaması tələb yolunun içində yerləşir; yoxlama öldükdə,

Mexanizm: tələb yolunda yoxlama, qlobal replikasiya, bir satıcı

1:46 API ölür. İki: kvota məlumatları heç bir mərhələləmə olmadan qlobal olur; pis bir sətir qlobal bir sətirdir. Üç: Cloudflare bilirdi. Workers KV öz R2-yə miqrasiyanın ortasında idi, bir provayderə qədər — postmortem bunu əhatə dairəsində bir boşluq adlandırır.

git blame — bölgü

2:00 git blame. Google, əlli beş faiz: boş yoxlama yoxdur, funksiya bayrağı yoxdur, geri çəkilmə yoxdur — onların hesabatında bir bayrağın onu mərhələləmə zamanı tutacağı deyilir. Qlobal replikasiya, iyirmi: bir sətir, hər region, saniyələr. Cloudflare, iyirmi: bir satıcının anbarında məhsul xəttinin yarısı, və heç vaxt Google deməyən bir postmortem. Status səhifəsi, beş, hesabat verdiyi yerdə yaşadığı üçün. Partlama radiusu: yetmiş Google Cloud məhsulu, on Workspace proqramı,

Partlama radiusu

2:23 hər region. Üç saat. Cloudflare-də: Access, WARP, Workers AI, Pages, Stream — iki yarım. Hacker News, on dörd yüz bal; ən yaxşı şərh: status səhifəsi yaşıldır.

Hökm + Bazar ertəsi xətti

2:33 Hökm, postmortem: göndər (SHIP IT). Hər iki postmortem otuz saat içində yerləşdirilir, hər ikisi özlərini günahlandırır, və Google-un düzəlişləri konkretdir: açıq uğursuz, bayraqlar defolt olaraq söndürülüb, eksponensial geri çəkilmə. Bazar ertəsi xətti: söndürülən bir bayrağın arxasında yeni kod, və məlumatların gəldiyi yerdə boş yoxlama. Hələ danışmağa icazə verilməyən hadisəni mənə göndərin, şərhlərdə və ya daily diff dot dev ünvanında. Və bu, bu gün üçün fərqdir.

2:53 Mən Axrisidən Nikonam. Məsuliyyətlə birləşdirin.

Mənbələr

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Əlaqəli videolar