Google Cloud boş bir alanda çöktü. Üç saat.
Birkaç boş alana sahip bir ilke satırı bir boş işaretçiye isabet eder ve Google Cloud aynı anda her bölgede çöker; ardından Cloudflare da onunla birlikte düşer.
Birkaç boş alana sahip bir ilke satırı bir boş işaretçiye isabet eder ve Google Cloud aynı anda her bölgede çöker; ardından Cloudflare da onunla birlikte düşer. 12 Haziran 2025, 17:49 UTC: Her Google Cloud API isteğini onaylayan ikili dosya olan Service Control, "istenmeyen boş alanlara" sahip bir kota-ilke değişikliğini okur, iki hafta önce sıfır kontrolü veya özellik bayrağı olmadan gönderilen bir kod yoluna isabet eder ve her bölgede bir çökme döngüsüne girer — bu satır saniyeler içinde küresel olarak çoğaltılmıştı. Harici API'ler üç saat boyunca 503 döndürür; us-central1, yeniden başlayan görevler rastgele gecikme olmadan aynı Spanner tablosuna hücum ettiği için 2 saat 40 dakika sürer. Google'ın kesintisinin üçüncü dakikasında, "üçüncü taraf bir bulut sağlayıcısı" üzerinde yer alan Cloudflare'ın Workers KV'si isteklerin %90'ını kaybeder ve Access, WARP, Workers AI, Pages, Stream ve Turnstile da 2 saat 28 dakika boyunca onunla birlikte çöker. Google'ın durum sayfası, Google Cloud üzerinde çalıştığı için ilk güncellemesini bir saat geç yayınlar.
Yazılı sürümü oku (İngilizce) ↗
Bu video neleri kapsar
- Boş bir alan, boş bir işaretçi, her bölge
- Zaman çizelgesi: 29 Mayıs → 17:45 → çökme döngüsü → kırmızı düğme → 17:52 Cloudflare
- us-central1: sürü etkisi
- Mekanizma: istek yolunda kontrol, küresel çoğaltma, tek satıcı
- git blame — ayrım
Sorular ve cevaplar
12 Haziran 2025 Google Cloud kesintisine ne sebep oldu?
Boş alanlara sahip bir kota-politika satırı, her Google Cloud API isteğini onaylayan ikili program olan Service Control'ü çökertti. Google'ın olay raporuna göre, satır boş kontrolü ve özellik bayrağı olmayan bir kod yoluna çarptı ve ikili program her bölgede bir çökme döngüsüne girdi. Harici API'ler yaklaşık üç saat boyunca 503 hataları döndürdü.
Hizmetleri yeniden başlatmak neden bir bulut kesintisinin bir bölgede daha uzun sürmesine neden olabilir?
Birçok görevin aynı anda yeniden başlaması, aynı paylaşılan veritabanını aşırı yükleyebilir. us-central1'de, Google'ın yeniden başlatma görevleri, rastgele geri dönüşü olmayan bir Spanner tablosunu aşırı yükledi, bu yüzden Google onları elle kısıtladı. Diğer bölgeler 19:48'e kadar iyileşirken, bu bölgenin iyileşmesi iki saat kırk dakika sürdü.
Google Cloud çöktüğünde Cloudflare hizmetleri neden başarısız oldu?
Cloudflare'in Workers KV'si, doğruluk kaynağını üçüncü taraf bir bulut sağlayıcısında tutuyordu. Cloudflare'a göre, Workers KV isteklerinin %90'ını kaybetti ve Access, WARP, Workers AI, Pages, Stream ve Turnstile bununla birlikte 2 saat 28 dakika boyunca çöktü. Bölüm, Workers KV'nin Cloudflare'ın kendi R2 depolamasına geçişin ortasında olduğunu belirtiyor.
Ekipler, kötü bir yapılandırma satırının her bölgedeki bir hizmeti çökertmesini nasıl önleyebilir?
Bu olaydan üç uygulama çıkıyor. Yeni kodu kapalı olarak gönderilen bir özellik bayrağının arkasında tutun, verilerin girdiği yerde boş kontrolleri yapın ve kota verilerini bir kerede küresel olarak çoğaltmak yerine aşamalı olarak yerleştirin. Google'ın raporu, bir bayrağın hatayı hazırlık aşamasında yakalayacağını ve düzeltmelerinin açıkta hata ve üstel geri dönüşü içerdiğini belirtiyor.
12 Haziran'daki Google Cloud ve Cloudflare olay sonrası analizleri, olay raporları için iyi bir örnek teşkil ediyor mu?
The Daily Diff'in kararı SHIP IT oldu. Her iki olay sonrası analizi de otuz saat içinde yayınlandı ve her ikisi de kendi şirketlerini suçladı. Google'ın düzeltmeleri somuttu, yani açıkta hata, varsayılan olarak kapalı bayraklar ve üstel geri dönüş. Pazartesi için çıkarım, yeni kodu kapalı olarak başlayan bir bayrağın arkasında göndermektir.
Çevrilmiş deşifre
Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.
Boş bir alan, boş bir işaretçi, her bölge
0:00 Boş alanları olan bir ilke satırı bir boş işaretçiye isabet eder ve Google Cloud çöker aynı anda her bölgede — ve Cloudflare da onunla birlikte düşer, ardından Google'ı "üçüncü taraf bir sağlayıcı" olarak adlandırır. 12 Haziran 2025, 17:49 UTC. Google'ın raporu: Her API isteğini onaylayan ikili dosya olan Service Control, üç saatlik bir çökme döngüsünde. Cloudflare'ınki, aynı akşam: Workers KV, yüzde doksanı başarısız, iki saat yirmi sekiz.
0:23 Nasıl oldu, neden bir boş alan saniyeler içinde küresel oldu, ve suçlu kim. Bu The Daily Diff, postmortem. 29 Mayıs. Service Control, bir
Zaman çizelgesi: 29 Mayıs → 17:45 → çökme döngüsü → kırmızı düğme → 17:52 Cloudflare
0:35 kırmızı düğme — ancak yeni kod yolu dağıtım sırasında asla çalışmaz; hiçbir şey onu henüz tetiklemez. Henüz tetiklemez. Sıfır kontrolü yok. Özellik bayrağı yok. 17:45. Boş alanları olan bir ilke değişikliği Spanner tablosuna düşer. Kota küreseldir, bu nedenle satır saniyeler içinde her yere çoğaltılır. Her Service Control ikilisi onu okur, boş işaretçiye isabet eder, çöker, yeniden başlar, tekrar okur. Her API çağrısı: 503.
0:55 Google hızlı: iki dakikada triyaj, on dakikada kök neden. Kırmızı düğme kırk dakikada dışarıdadır ve küçük bölgeler önce iyileşir. Durum sayfası ilk güncellemesini bir saat sonra yayınlar, çünkü Google Cloud üzerinde çalışır. 17:52. Cloudflare'ın WARP ekibi yeni cihazların kaydolamadığını görür. Workers KV, Cloudflare'ın yapılandırma ve kimlik için kullandığı depolamanın yarısı, üçüncü taraf bir bulutta yaşar. Access her girişte başarısız olur — tasarıma göre, kapalı başarısız olur.
1:20 Workers AI her çıkarımda başarısız olur. 19:11, Gergely Orosz: iki bağımsız bulut aynı anda çöktü, daha önce hiç görülmedi. 19:32, Google desteği bir kullanıcıya bilinen bir kesinti olmadığını söyler — çerezlerinizi temizlemeyi deneyin. çerezlerinizi temizlemeyi deneyin. Her yer 19:48'e kadar iyileşir.
us-central1: sürü etkisi
1:34 us-central1 iyileşmez: yeniden başlayan görevler aynı Spanner tablosuna hücum eder, rastgele gecikme yok, bu yüzden Google onları elle kısar. İki saat kırk. Bir: ilke kontrolü istek yolunun içindedir; kontrol öldüğünde,
Mekanizma: istek yolunda kontrol, küresel çoğaltma, tek satıcı
1:46 API ölür. İki: kota verileri hazırlık olmadan küresel hale gelir; kötü bir satır küresel bir satırdır. Üç: Cloudflare biliyordu. Workers KV, kendi R2'sine geçiş ortasındaydı, tek sağlayıcıya düşürüldü — postmortem bunu kapsamda bir boşluk olarak adlandırır.
git blame — ayrım
2:00 git blame. Google, yüzde elli beş: sıfır kontrolü yok, özellik bayrağı yok, gecikme yok — raporları bir bayrağın bunu hazırlık aşamasında yakalayacağını söylüyor. Küresel çoğaltma, yirmi: bir satır, her bölge, saniyeler. Cloudflare, yirmi: bir satıcının mağazasında bir ürün hattının yarısı, ve Google'ı asla söylemeyen bir postmortem. Durum sayfası, beş, rapor ettiği şey üzerinde yaşadığı için. Patlama yarıçapı: yetmiş Google Cloud ürünü, on Workspace uygulaması,
Patlama yarıçapı
2:23 her bölge. Üç saat. Cloudflare'da: Access, WARP, Workers AI, Pages, Stream — iki buçuk. Hacker News, bin dört yüz puan; en iyi yorum: durum sayfası yeşil.
Karar + Pazartesi hattı
2:33 Karar, postmortem: SHIP IT. Her iki postmortem de otuz saat içinde yayınlanır, ikisi de kendilerini suçlar, ve Google'ın düzeltmeleri somut: açık başarısız, bayraklar varsayılan olarak kapalı, üstel gecikme. Pazartesi hattı: kapalı gönderilen bir bayrağın arkasındaki yeni kod, ve verilerin geldiği yerde bir sıfır kontrolü. Hala konuşmanıza izin verilmeyen olayı bana gönderin, yorumlar kısmında veya the daily diff dot dev adresinden. Ve bugünkü fark bu.
2:53 Ben Axrisi'den Niko. Sorumlu bir şekilde birleştirin.
Kaynaklar
- Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
- Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
- Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
- Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
- @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
- Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
- Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
- Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
- Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com



