Google Cloud एका रिकाम्या फील्डवर क्रॅश झाले. तीन तास.
काही रिकाम्या फील्ड्स असलेली एक पॉलिसी रो नल् पॉइंटरला हिट करते आणि Google Cloud एकाच वेळी प्रत्येक प्रदेशात क्रॅश होते — नंतर Cloudflare देखील त्यासोबत कोसळते.
काही रिकाम्या फील्ड्स असलेली एक पॉलिसी रो नल् पॉइंटरला हिट करते आणि Google Cloud एकाच वेळी प्रत्येक प्रदेशात क्रॅश होते — नंतर Cloudflare देखील त्यासोबत कोसळते. १२ जून २०२५, १७:४९ UTC: Service Control, प्रत्येक Google Cloud API विनंती मंजूर करणारी बायनरी, "अनपेक्षित रिकाम्या फील्ड्स" सह कोट्याच्या धोरणातील बदल वाचते, दोन आठवड्यांपूर्वी नल् चेक आणि फीचर फ्लॅगशिवाय पाठवलेल्या कोड पाथला हिट करते आणि प्रत्येक प्रदेशात क्रॅश लूपमध्ये जाते — ही रो काही सेकंदात जागतिक स्तरावर प्रतिकृती झाली होती. बाह्य API तीन तास ५०३ परत करतात; us-central1 ला २ तास ४० मिनिटे लागतात कारण रीस्टार्टिंग टास्क समान स्पॅनर टेबलवर यादृच्छिक बॅकऑफशिवाय हल्ला करतात. Google च्या आउटेजच्या तीन मिनिटांत, Cloudflare चे Workers KV — ज्याचा सत्यता स्रोत "तृतीय-पक्ष क्लाउड प्रदात्यावर" आधारित आहे — ९०% विनंत्या गमावते आणि Access, WARP, Workers AI, Pages, Stream आणि Turnstile २ तास २८ मिनिटांसाठी त्यासोबत खाली जातात. Google च्या स्टेटस पेजवर त्याची पहिली अपडेट एक तास उशिरा पोस्ट केली जाते, कारण ते Google Cloud वर चालते.
लिखित आवृत्ती वाचा (इंग्रजी) ↗
या व्हिडिओमध्ये काय समाविष्ट आहे
- एक रिकामी फील्ड, एक नल् पॉइंटर, प्रत्येक प्रदेश
- वेळापत्रक: २९ मे → १७:४५ → क्रॅश लूप → लाल बटन → १७:५२ Cloudflare
- us-central1: कळपाचा परिणाम
- यंत्रणा: विनंती मार्गामध्ये तपासणी, जागतिक प्रतिकृती, एक विक्रेता
- git blame — विभाजन
प्रश्न आणि उत्तरे
12 जून 2025 रोजी Google Cloud सेवा बंद पडण्याचे कारण काय होते?
रिक्त फील्ड असलेली कोटा-धोरण पंक्ती (quota-policy row) मुळे सर्व Google Cloud API विनंत्या मंजूर करणारी बायनरी, सर्व्हिस कंट्रोल क्रॅश झाली. Google च्या घटना अहवालानुसार, पंक्तीने शून्य तपासणी (null check) नसलेल्या आणि वैशिष्ट्य ध्वज (feature flag) नसलेल्या कोड पाथला (code path) धडक दिली आणि प्रत्येक प्रदेशात बायनरी क्रॅश लूपमध्ये गेली. सुमारे तीन तास बाह्य API ने 503 त्रुटी (errors) परत केल्या.
सेवा पुन्हा सुरू केल्याने क्लाउड सेवा खंडित होण्याचा कालावधी एका प्रदेशात जास्त का असू शकतो?
एकाच वेळी अनेक कार्ये (tasks) पुन्हा सुरू केल्याने त्याच सामायिक डेटाबेसवर भार वाढू शकतो. us-central1 मध्ये, Google च्या पुन्हा सुरू होणाऱ्या कार्यांनी (restarting tasks) कोणत्याही यादृच्छिक बॅकऑफशिवाय (randomized backoff) एका स्पॅनर टेबलवर (Spanner table) हल्ला केला, त्यामुळे Google ने त्यांना हाताने कमी केले. त्या प्रदेशाला पूर्ववत होण्यासाठी दोन तास चाळीस मिनिटे लागली, तर इतर प्रदेश 19:48 पर्यंत पूर्ववत झाले.
Google Cloud बंद पडल्यावर Cloudflare सेवा का अयशस्वी झाल्या?
Cloudflare चे Workers KV ने आपला सत्याचा स्रोत (source of truth) तृतीय-पक्ष क्लाउड प्रदात्यावर (third-party cloud provider) ठेवला होता. Cloudflare नुसार, Workers KV ने 90% विनंत्या गमावल्या, आणि Access, WARP, Workers AI, Pages, Stream आणि Turnstile 2 तास 28 मिनिटांसाठी त्यासोबत बंद पडले. या घटनेत नमूद केले आहे की Workers KV Cloudflare च्या स्वतःच्या R2 स्टोरेजमध्ये स्थलांतरित (mid-migration) होत होते.
एक खराब कॉन्फिगरेशन पंक्ती (configuration row) प्रत्येक प्रदेशात सेवा क्रॅश होण्यापासून टीम्स कशा थांबवू शकतात?
या घटनेतून तीन पद्धती (practices) समोर येतात. नवीन कोड वैशिष्ट्य ध्वजामागे (feature flag) ठेवा जो बंद (ships off) होतो, डेटा जिथे प्रविष्ट होतो तिथे शून्यासाठी (null) तपासा आणि एकाच वेळी जागतिक स्तरावर प्रतिकृती (replicate) करण्याऐवजी कोटा डेटा स्टेज करा. Google च्या अहवालात म्हटले आहे की ध्वजाने (flag) स्टेडिंगमध्ये (staging) दोष पकडला असता, आणि त्याच्या निराकरणामध्ये फेल ओपन (failing open) आणि एक्स्पोनेंशियल बॅकऑफचा (exponential backoff) समावेश आहे.
12 जून रोजीचे Google Cloud आणि Cloudflare पोस्टमॉर्स्टम्स (postmortems) घटना अहवालांसाठी चांगले उदाहरण देतात का?
The Daily Diff चा निकाल SHIP IT होता. दोन्ही पोस्टमॉर्तम्स तीस तासांच्या आत पूर्ण झाले आणि दोघांनीही त्यांच्या स्वतःच्या कंपन्यांना दोष दिला. Google चे निराकरण ठोस होते, म्हणजे फेल ओपन (fail open), डीफॉल्टनुसार बंद असलेले ध्वज (flags off by default) आणि एक्स्पोनेंशियल बॅकऑफ (exponential backoff). सोमवारसाठी मुख्य गोष्ट म्हणजे नवीन कोड ध्वजामागे (flag) पाठवणे जो सुरुवातीला बंद असतो.
अनुवादित प्रतिलेख
मूळ इंग्रजी निवेदनातून अनुवादित. उपलब्ध ऑडिओ आणि मथळे YouTube द्वारे नियंत्रित आहेत.
एक रिकामी फील्ड, एक नल् पॉइंटर, प्रत्येक प्रदेश
0:00 रिकाम्या फील्ड्स असलेली एक पॉलिसी रो नल् पॉइंटरला हिट करते आणि Google Cloud क्रॅश होते एकाच वेळी प्रत्येक प्रदेशात — आणि Cloudflare त्यासोबत कोसळते, नंतर Google ला "तृतीय-पक्ष प्रदाता" म्हणते. १२ जून २०२५, १७:४९ UTC. Google चा अहवाल: Service Control, प्रत्येक API विनंती मंजूर करणारी बायनरी, तीन तास क्रॅश लूपमध्ये. Cloudflare चे, त्याच संध्याकाळी: Workers KV, नव्वद टक्के अयशस्वी होत आहे, दोन तास अठ्ठावीस.
0:23 हे कसे घडले, एक रिकामी फील्ड काही सेकंदात जागतिक कशी झाली, आणि कोणाला दोष मिळतो. हे The Daily Diff आहे, पोस्टमॉर्टम. २९ मे. Service Control ला एक नवीन कोटा तपासणी मिळते, जी प्रदेशानुसार एका
वेळापत्रक: २९ मे → १७:४५ → क्रॅश लूप → लाल बटन → १७:५२ Cloudflare
0:35 लाल बटनासह पाठवली जाते — परंतु नवीन कोड पाथ रोलआउट दरम्यान कधीही चालत नाही; काहीही ट्रिगर करत नाही तो अजून. नल् चेक नाही. फीचर फ्लॅग नाही. १७:४५. रिकाम्या फील्ड्ससह एक पॉलिसी बदल स्पॅनर टेबलमध्ये येतो. कोटा जागतिक आहे, म्हणून ही रो काही सेकंदात सर्वत्र प्रतिकृती होते. प्रत्येक Service Control बायनरी ते वाचते, नल् पॉइंटरला हिट करते, क्रॅश होते, रीस्टार्ट होते, ते पुन्हा वाचते. प्रत्येक API कॉल: ५०३.
0:55 Google जलद आहे: दोन मिनिटांत ट्रायज, दहा मिनिटांत मूळ कारण. लाल बटन चाळीस मिनिटांत बाहेर आहे आणि लहान प्रदेश प्रथम पुनर्प्राप्त होतात. स्टेटस पेज एक तासाभरात त्याची पहिली अपडेट पोस्ट करते, कारण ते Google Cloud वर चालते. १७:५२. Cloudflare ची WARP टीम नवीन उपकरणे नोंदणी करण्यात अयशस्वी होत असल्याचे पाहते. Workers KV, Cloudflare चा अर्धा भाग कॉन्फिग आणि आयडेंटिटीसाठी वापरतो, तृतीय-पक्ष क्लाउडवर राहतो. Access प्रत्येक लॉगिनमध्ये अयशस्वी होते — डिझाइननुसार, ते बंद होते.
1:20 Workers AI प्रत्येक अनुमान अयशस्वी करते. १९:११, गॅर्जेली ओरोझ: दोन स्वतंत्र क्लाउड्स एकाच वेळी खाली, यापूर्वी कधीही पाहिले नाही. १९:३२, Google समर्थन एका वापरकर्त्याला सांगते की कोणतीही ज्ञात व्यत्यय नाहीत — साफ करण्याचा प्रयत्न करा तुमच्या कुकीज. इतर सर्वत्र १९:४८ पर्यंत पुनर्प्राप्त होतात.
us-central1: कळपाचा परिणाम
1:34 us-central1 नाही: रीस्टार्टिंग टास्क समान स्पॅनर टेबलवर हल्ला करतात, यादृच्छिक बॅकऑफ नाही, म्हणून Google त्यांना हाताने थ्रॉटल करते. दोन तास चाळीस. एक: पॉलिसी तपासणी विनंती मार्गामध्ये असते; जेव्हा तपासणी थांबते,
यंत्रणा: विनंती मार्गामध्ये तपासणी, जागतिक प्रतिकृती, एक विक्रेता
1:46 API थांबते. दोन: कोटा डेटा स्टेजिंगशिवाय जागतिक होतो; एक खराब रो एक जागतिक रो आहे. तीन: Cloudflare ला माहीत होते. Workers KV त्याच्या स्वतःच्या R2 मध्ये स्थलांतरित होत होते, एका प्रदात्यापर्यंत — पोस्टमॉर्टम त्याला कव्हरेजमधील अंतर म्हणते.
git blame — विभाजन
2:00 git blame. Google, पंचावन्न टक्के: नल् चेक नाही, फीचर फ्लॅग नाही, बॅकऑफ नाही — त्यांच्या अहवालात म्हटले आहे की एका फ्लॅगने स्टेजिंगमध्ये ते पकडले असते. जागतिक प्रतिकृती, वीस: एक रो, प्रत्येक प्रदेश, सेकंद. Cloudflare, वीस: एका विक्रेत्याच्या स्टोअरवर अर्धी उत्पादनाची ओळ, आणि एक पोस्टमॉर्टम जे कधीही Google म्हणत नाही. स्टेटस पेज, पाच, ज्यावर ते अहवाल देते त्यावर जगण्यासाठी. विस्फोटाचा त्रिज्या: सत्तर Google Cloud उत्पादने, दहा Workspace ॲप्स,
विस्फोटाचा त्रिज्या
2:23 प्रत्येक प्रदेश. तीन तास. Cloudflare वर: Access, WARP, Workers AI, Pages, Stream — अडीच. Hacker News, चौदाशे पॉइंट्स; शीर्ष टिप्पणी: स्टेटस पेज हिरवे आहे.
निकाल + सोमवारची ओळ
2:33 निकाल, पोस्टमॉर्टम: SHIP IT. दोन्ही पोस्टमॉर्टम तीस तासांच्या आत येतात, दोन्ही स्वतःला दोष देतात, आणि Google चे निराकरण ठोस आहेत: खुले अयशस्वी, फ्लॅग डीफॉल्टनुसार बंद, घातांकीय बॅकऑफ. सोमवारची ओळ: एक नवीन कोड जो बंद असलेल्या फ्लॅगमागे जातो, आणि डेटा जिथे येतो तिथे एक नल् चेक. तुम्ही अजूनही ज्या घटनेबद्दल बोलू शकत नाही ती मला पाठवा, टिप्पण्यांमध्ये, किंवा daily diff dot dev वर. आणि आजचा हा फरक आहे.
2:53 मी Axrisi चा Niko आहे. Merge responsibly.
स्रोत
- Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
- Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
- Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
- Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
- @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
- Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
- Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
- Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
- Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com



