गुगल क्लाउड खाली फिल्डमा क्र्यास भयो। तीन घण्टासम्म।
केही खाली फिल्डहरू भएको नीति पङ्क्तिले नल पोइन्टरमा हिर्काउँछ, र गुगल क्लाउड एकैचोटि सबै क्षेत्रमा क्र्यास हुन्छ — त्यसपछि क्लाउडफ्लेयर पनि त्यसको साथमा खस्छ।
केही खाली फिल्डहरू भएको नीति पङ्क्तिले नल पोइन्टरमा हिर्काउँछ, र गुगल क्लाउड एकैचोटि सबै क्षेत्रमा क्र्यास हुन्छ — त्यसपछि क्लाउडफ्लेयर पनि त्यसको साथमा खस्छ। जून १२, २०२५, १७:४९ UTC: सर्भिस कन्ट्रोल, जुन हरेक गुगल क्लाउड API अनुरोधलाई अनुमोदन गर्ने बाइनरी हो, ले "अनपेक्षित खाली फिल्डहरू" सहितको कोटा-नीति परिवर्तन पढ्छ, दुई हप्ता अघि पठाइएको, नल चेक र फिचर फ्ल्याग बिनाको कोड पाथमा हिर्काउँछ, र हरेक क्षेत्रमा क्र्यास लुपमा जान्छ — पङ्क्ति केही सेकेन्डमै विश्वव्यापी रूपमा प्रतिकृति भएको थियो। बाह्य API हरू तीन घण्टासम्म 503 फर्काउँछन्; us-central1 ले २ घन्टा ४० मिनेट लिन्छ किनभने पुनः सुरु भइरहेका कार्यहरूले बिना यादृच्छिक ब्याकअफ एकै स्प्यानर तालिकालाई स्ट्याम्पेड गर्छन्। गुगलको आउटेजको तीन मिनेट भित्र, क्लाउडफ्लेयरको वर्कर्स KV — जसको सत्यको स्रोत "तेस्रो-पक्ष क्लाउड प्रदायक" मा छ — ९०% अनुरोधहरू गुमाउँछ, र एक्सेस, WARP, वर्कर्स AI, पेज, स्ट्रिम र टर्नस्टाइल त्यसको साथमा २ घन्टा २८ मिनेटसम्म बन्द हुन्छन्। गुगलको स्थिति पृष्ठले यसको पहिलो अपडेट एक घण्टा ढिलो पोस्ट गर्छ, किनभने यो गुगल क्लाउडमा चल्छ।
लिखित संस्करण पढ्नुहोस् (अंग्रेजी) ↗
यो भिडियोले के समेट्छ
- एउटा खाली फिल्ड, एउटा नल पोइन्टर, हरेक क्षेत्र
- समयरेखा: मे २९ → १७:४५ → क्र्यास लुप → रातो बटन → १७:५२ क्लाउडफ्लेयर
- us-central1: बथान प्रभाव
- मेकानिजम: अनुरोध मार्गमा जाँच, विश्वव्यापी प्रतिकृति, एक विक्रेता
- git blame — विभाजन
अनुवादित ट्रान्सक्रिप्ट
मूल अंग्रेजी कथाबाट अनुवादित। उपलब्ध अडियो र क्याप्सनहरू YouTube द्वारा नियन्त्रित हुन्छन्।
एउटा खाली फिल्ड, एउटा नल पोइन्टर, हरेक क्षेत्र
0:00 खाली फिल्डहरू भएको नीति पङ्क्तिले नल पोइन्टरमा हिर्काउँछ, र गुगल क्लाउड क्र्यास हुन्छ एकैचोटि हरेक क्षेत्रमा — र क्लाउडफ्लेयर पनि त्यसको साथमा खस्छ, त्यसपछि गुगललाई "तेस्रो-पक्ष प्रदायक" भन्छ। जून १२, २०२५, १७:४९ UTC। गुगलको रिपोर्ट: सर्भिस कन्ट्रोल, जुन हरेक API अनुरोधलाई अनुमोदन गर्ने बाइनरी हो, तीन घण्टासम्म क्र्यास लुपमा। क्लाउडफ्लेयरको, त्यही साँझ: वर्कर्स KV, नब्बे प्रतिशत असफल, दुई घण्टा अठ्ठाईस मिनेट।
0:23 कसरी भयो, किन एउटा खाली फिल्ड सेकेन्डमै विश्वव्यापी भयो, र कसलाई दोष दिइन्छ। यो The Daily Diff, पोस्टमार्टम हो। मे २९। सर्भिस कन्ट्रोलले नयाँ कोटा जाँच पाउँछ, रातो बटन सहित क्षेत्र-क्षेत्र पठाइएको छ —
समयरेखा: मे २९ → १७:४५ → क्र्यास लुप → रातो बटन → १७:५२ क्लाउडफ्लेयर
0:35 तर नयाँ कोड पाथ रोलआउटको बेला कहिल्यै चल्दैन; केहीले यसलाई अझै ट्रिगर गर्दैन। नल चेक छैन। फिचर फ्ल्याग छैन। १७:४५। खाली फिल्डहरू सहितको नीति परिवर्तन स्प्यानर तालिकामा आउँछ। कोटा विश्वव्यापी छ, त्यसैले पङ्क्ति केही सेकेन्डमै सबैतिर प्रतिकृति हुन्छ। हरेक सर्भिस कन्ट्रोल बाइनरीले यसलाई पढ्छ, नल पोइन्टरमा हिर्काउँछ, क्र्यास हुन्छ, पुनः सुरु हुन्छ, फेरि पढ्छ। हरेक API कल: 503।
0:55 गुगल छिटो छ: दुई मिनेटमा ट्राइएज, दस मिनेटमा मूल कारण। रातो बटन चालीस मिनेटमा बाहिर हुन्छ, र साना क्षेत्रहरू पहिले रिकभर हुन्छन्। स्थिति पृष्ठले यसको पहिलो अपडेट एक घण्टामा पोस्ट गर्छ, किनभने यो गुगल क्लाउडमा चल्छ। १७:५२। क्लाउडफ्लेयरको WARP टीमले नयाँ उपकरणहरू दर्ता हुन असफल भएको देख्छ। वर्कर्स KV, क्लाउडफ्लेयरले कन्फिग र पहिचानका लागि प्रयोग गर्ने स्टोरको आधा भाग, तेस्रो-पक्ष क्लाउडमा रहन्छ। एक्सेस हरेक लगइनमा असफल हुन्छ — डिजाइन अनुसार, यो बन्द असफल हुन्छ।
1:20 वर्कर्स AI हरेक अनुमानमा असफल हुन्छ। १९:११, गेर्गेली ओरोस: एकैचोटि दुई स्वतन्त्र क्लाउड डाउन, पहिले कहिल्यै नदेखिएको। १९:३२, गुगल समर्थनले एक प्रयोगकर्तालाई कुनै ज्ञात अवरोधहरू छैनन् भन्छ — आफ्नो कुकीहरू खाली गर्ने प्रयास गर्नुहोस्। अन्य सबै ठाउँमा १९:४८ सम्म रिकभर हुन्छ।
us-central1: बथान प्रभाव
1:34 us-central1 गर्दैन: पुनः सुरु भइरहेका कार्यहरूले एकै स्प्यानर तालिकालाई स्ट्याम्पेड गर्छन्, यादृच्छिक ब्याकअफ छैन, त्यसैले गुगलले तिनीहरूलाई हातले थ्रोटल गर्छ। दुई घण्टा चालीस मिनेट। एक: नीति जाँच अनुरोध मार्ग भित्र बस्छ; जब जाँच मर्छ,
मेकानिजम: अनुरोध मार्गमा जाँच, विश्वव्यापी प्रतिकृति, एक विक्रेता
1:46 API मर्छ। दुई: कोटा डेटा स्टेजिङ बिना विश्वव्यापी हुन्छ; एउटा खराब पङ्क्ति विश्वव्यापी पङ्क्ति हो। तीन: क्लाउडफ्लेयरलाई थाहा थियो। वर्कर्स KV आफ्नो आफ्नै R2 मा स्थानान्तरणको मध्यमा थियो, एक प्रदायकमा झरेको — पोस्टमोर्टेमले यसलाई कभरेजमा एक अन्तराल भन्छ।
git blame — विभाजन
2:00 git blame। गुगल, पचपन्न प्रतिशत: नल चेक छैन, फिचर फ्ल्याग छैन, ब्याकअफ छैन — तिनीहरूको रिपोर्ट भन्छ कि एउटा फ्ल्यागले यसलाई स्टेजिङमा समातेको हुने थियो। विश्वव्यापी प्रतिकृति, बीस: एक पङ्क्ति, हरेक क्षेत्र, सेकेन्डमा। क्लाउडफ्लेयर, बीस: एक विक्रेताको स्टोरमा आधा उत्पादन लाइन, र एउटा पोस्टमार्टम जसले कहिल्यै गुगल भन्दैन। स्थिति पृष्ठ, पाँच, आफूले रिपोर्ट गर्ने कुरामा बाँचेकोले। विस्फोट त्रिज्या: सत्तरी गुगल क्लाउड उत्पादनहरू, दस वर्कस्पेस एपहरू,
विस्फोट त्रिज्या
2:23 हरेक क्षेत्र। तीन घण्टा। क्लाउडफ्लेयरमा: एक्सेस, WARP, वर्कर्स AI, पेज, स्ट्रिम — साढे दुई घण्टा। ह्याकर न्यूज, चौध सय अंक; शीर्ष टिप्पणी: स्थिति पृष्ठ हरियो छ।
फैसला + सोमबारको लाइन
2:33 फैसला, पोस्टमार्टम: SHIP IT। दुवै पोस्टमार्टम तीस घण्टा भित्र आउँछन्, दुवैले आफैंलाई दोष दिन्छन्, र गुगलका समाधानहरू ठोस छन्: फेल ओपन, फ्ल्यागहरू पूर्वनिर्धारित रूपमा बन्द, घातांक ब्याकअफ। सोमबारको लाइन: नयाँ कोड एउटा फ्ल्यागको पछाडि जुन बन्द हुन्छ, र जहाँबाट डेटा आउँछ त्यहाँ नल चेक। तपाईंले अझै पनि कुरा गर्न अनुमति नभएको घटना मलाई पठाउनुहोस्, टिप्पणीहरूमा, वा daily diff dot dev मा। र आजको लागि यति नै diff।
2:53 म Axrisi बाट Niko हुँ। जिम्मेवारीपूर्वक मर्ज गर्नुहोस्।
स्रोतहरू
- Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
- Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
- Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
- Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
- @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
- Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
- Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
- Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
- Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com
