Google Cloud သည် အကွက်လပ်တစ်ခုကြောင့် ပျက်သွားသည်။ သုံးနာရီကြာသည်။
အကွက်လပ်အချို့ပါရှိသော ပေါ်လစီတန်းတစ်ခုသည် null pointer သို့ ရောက်ရှိသွားပြီး Google Cloud သည် ဒေသတိုင်းတွင် တစ်ချိန်တည်း ပျက်သွားသည် — ထို့နောက် Cloudflare လည်း ၎င်းနှင့်အတူ ပြိုလဲသွားသည်။
အကွက်လပ်အချို့ပါရှိသော ပေါ်လစီတန်းတစ်ခုသည် null pointer သို့ ရောက်ရှိသွားပြီး Google Cloud သည် ဒေသတိုင်းတွင် တစ်ချိန်တည်း ပျက်သွားသည် — ထို့နောက် Cloudflare လည်း ၎င်းနှင့်အတူ ပြိုလဲသွားသည်။ 2025 ခုနှစ်၊ ဇွန်လ 12 ရက်၊ 17:49 UTC: Google Cloud API တောင်းဆိုမှုတိုင်းကို ခွင့်ပြုသည့် binary ဖြစ်သော Service Control သည် "မရည်ရွယ်ဘဲ အကွက်လပ်များ" ပါရှိသော quota-policy ပြောင်းလဲမှုကို ဖတ်မိပြီး၊ နှစ်ပတ်အစောပိုင်းက ထုတ်လုပ်ခဲ့သော null check နှင့် feature flag မပါရှိသည့် code path သို့ ရောက်ရှိကာ ဒေသတိုင်းတွင် crash loop သို့ ရောက်ရှိသွားသည် — ထိုတန်းသည် စက္ကန့်ပိုင်းအတွင်း ကမ္ဘာတစ်ဝှမ်းသို့ ပျံ့နှံ့သွားခဲ့သည်။ ပြင်ပ API များသည် သုံးနာရီကြာ 503 ကို ပြန်ပို့သည်; us-central1 သည် 2 နာရီ 40 မိနစ်ကြာသည် အဘယ်ကြောင့်ဆိုသော် ပြန်လည်စတင်သည့် tasks များသည် တူညီသော Spanner table ကို randomized backoff မပါဘဲ လွှမ်းမိုးသွားသောကြောင့်ဖြစ်သည်။ Google ၏ ပြတ်တောက်မှု စတင်ပြီး သုံးမိနစ်အကြာတွင် Cloudflare ၏ Workers KV — ၎င်း၏ source of truth သည် "third-party cloud provider" တွင်ရှိသည် — တောင်းဆိုမှု 90% ဆုံးရှုံးပြီး Access, WARP, Workers AI, Pages, Stream နှင့် Turnstile တို့သည် ၎င်းနှင့်အတူ 2 နာရီ 28 မိနစ်ကြာ ပြိုလဲသွားသည်။ Google ၏ status page သည် ၎င်း၏ ပထမဆုံး update ကို တစ်နာရီနောက်ကျပြီး တင်သည်၊ အဘယ်ကြောင့်ဆိုသော် ၎င်းသည် Google Cloud တွင် လည်ပတ်နေသောကြောင့်ဖြစ်သည်။
ရေးသားထားသော ထုတ်ဝေမှု (အင်္ဂလိပ်) ကို ဖတ်ရန် ↗
ဤဗီဒီယိုတွင် ဖော်ပြထားသောအရာများ
- အကွက်လပ်တစ်ခု၊ null pointer တစ်ခု၊ ဒေသတိုင်း
- အချိန်ဇယား- မေလ 29 → 17:45 → crash loop → red button → 17:52 Cloudflare
- us-central1: အုပ်စုလိုက် သက်ရောက်မှု
- ယန္တရား- တောင်းဆိုမှုလမ်းကြောင်းတွင် စစ်ဆေးခြင်း၊ ကမ္ဘာလုံးဆိုင်ရာ ပုံတူကူးခြင်း၊ ရောင်းချသူတစ်ဦးတည်း
- git blame — ကွဲပြားခြင်း
အမေးအဖြေများ
ဘာကြောင့် ၂၀၂၅ ခုနှစ်၊ ဇွန်လ ၁၂ ရက်နေ့ Google Cloud ပြတ်တောက်မှု ဖြစ်ရတာလဲ။
ဗလာကွက်တွေပါတဲ့ ကန့်သတ်ချက်မူဝါဒအတန်းတစ်ခုက Google Cloud API တောင်းဆိုမှုတိုင်းကို အတည်ပြုပေးတဲ့ binary ဖြစ်တဲ့ Service Control ကို ပျက်စီးစေခဲ့တယ်။ Google ရဲ့ ဖြစ်စဉ်အစီရင်ခံစာအရ အဲဒီအတန်းဟာ null စစ်ဆေးမှုမရှိဘဲ feature flag မပါတဲ့ code path ကို ရောက်သွားခဲ့ပြီး binary ဟာ ဒေသတိုင်းမှာ crash loop ဖြစ်သွားခဲ့တယ်။ ပြင်ပ API တွေကတော့ သုံးနာရီလောက် 503 error တွေ ပြန်ပေးခဲ့တယ်။
ဘာကြောင့် ဝန်ဆောင်မှုတွေကို ပြန်လည်စတင်ခြင်းက တိမ်တိုက်ပြတ်တောက်မှုကို ဒေသတစ်ခုမှာ ပိုကြာစေတာလဲ။
တစ်ပြိုင်နက်တည်း ပြန်လည်စတင်တဲ့ လုပ်ငန်းတာဝန်များစွာက shared database ကို ဝန်ပိုစေနိုင်တယ်။ us-central1 မှာ Google ရဲ့ ပြန်လည်စတင်တဲ့ လုပ်ငန်းတာဝန်တွေဟာ randomized backoff မရှိဘဲ Spanner table တစ်ခုကို စုပြုံတိုက်ခိုက်ခဲ့တဲ့အတွက် Google က လက်ဖြင့် ထိန်းချုပ်ခဲ့ရတယ်။ အဲဒီဒေသက နှစ်နာရီ လေးဆယ်မိနစ်ကြာမှ ပြန်လည်ကောင်းမွန်ခဲ့ပြီး တခြားဒေသတွေကတော့ ၁၉:၄၈ မှာ ပြန်လည်ကောင်းမွန်ခဲ့တယ်။
Google Cloud ပြတ်တောက်သွားတဲ့အခါ Cloudflare ဝန်ဆောင်မှုတွေ ဘာကြောင့် ပျက်သွားတာလဲ။
Cloudflare ရဲ့ Workers KV က ၎င်းရဲ့ source of truth ကို third-party cloud provider တစ်ခုပေါ်မှာ ထားရှိခဲ့တယ်။ Cloudflare ရဲ့ ပြောကြားချက်အရ Workers KV ဟာ တောင်းဆိုမှု ၉၀% ကို ဆုံးရှုံးခဲ့ပြီး Access, WARP, Workers AI, Pages, Stream နဲ့ Turnstile တို့ဟာလည်း ၂ နာရီ ၂၈ မိနစ်ကြာ ပျက်စီးသွားခဲ့တယ်။ အဲဒီအပိုင်းမှာ Workers KV ဟာ Cloudflare ရဲ့ ကိုယ်ပိုင် R2 storage ကို ပြောင်းရွှေ့နေစဉ် ဖြစ်တယ်လို့ မှတ်သားထားတယ်။
အဖွဲ့အစည်းတွေအနေနဲ့ မှားယွင်းတဲ့ configuration row တစ်ခုက ဒေသတိုင်းမှာ ဝန်ဆောင်မှုကို ပျက်စီးစေတာကို ဘယ်လိုတားဆီးနိုင်မလဲ။
ဒီဖြစ်စဉ်ကနေ အလေ့အကျင့်သုံးခု ထွက်ပေါ်လာတယ်။ code အသစ်ကို ပိတ်ထားတဲ့ feature flag နောက်ကွယ်မှာ ထားရှိပါ၊ ဒေတာဝင်ရောက်တဲ့နေရာမှာ null ကို စစ်ဆေးပါ၊ ပြီးတော့ quota data ကို တစ်ပြိုင်နက်တည်း ကမ္ဘာလုံးဆိုင်ရာ ပွားခြင်းအစား အဆင့်ဆင့် ပြင်ဆင်ပါ။ Google ရဲ့ အစီရင်ခံစာက flag တစ်ခုက staging မှာ bug ကို ဖမ်းမိလိမ့်မယ်လို့ ဆိုပြီး ၎င်းရဲ့ ပြင်ဆင်မှုတွေမှာ failing open နဲ့ exponential backoff တို့ ပါဝင်တယ်။
ဇွန်လ ၁၂ ရက်နေ့က Google Cloud နဲ့ Cloudflare ရဲ့ postmortem တွေဟာ ဖြစ်စဉ်အစီရင်ခံစာတွေအတွက် ကောင်းမွန်တဲ့ နမူနာတစ်ခု ဖြစ်ပါသလား။
The Daily Diff ရဲ့ စီရင်ချက်ကတော့ SHIP IT ဖြစ်တယ်။ postmortem နှစ်ခုစလုံးဟာ နာရီသုံးဆယ်အတွင်း ထွက်ပေါ်လာခဲ့ပြီး နှစ်ခုစလုံးက ၎င်းတို့ရဲ့ ကိုယ်ပိုင်ကုမ္ပဏီတွေကို အပြစ်တင်ခဲ့တယ်။ Google ရဲ့ ပြင်ဆင်မှုတွေက ခိုင်မာတယ်၊ အဲဒါတွေကတော့ fail open, flags off by default နဲ့ exponential backoff တို့ပဲ ဖြစ်တယ်။ တနင်္လာနေ့အတွက် အဓိက သင်ခန်းစာကတော့ ပိတ်ထားတဲ့ flag နောက်ကွယ်မှာ code အသစ်ကို ထုတ်ပြန်ဖို့ပဲ ဖြစ်တယ်။
ဘာသာပြန်ထားသော စာသားမှတ်တမ်း
မူရင်း အင်္ဂလိပ်စကားပြောမှ ဘာသာပြန်ထားသည်။ ရရှိနိုင်သော အသံနှင့် စာတန်းထိုးများကို YouTube မှ ထိန်းချုပ်ထားသည်။
အကွက်လပ်တစ်ခု၊ null pointer တစ်ခု၊ ဒေသတိုင်း
0:00 အကွက်လပ်များပါရှိသော ပေါ်လစီတန်းတစ်ခုသည် null pointer သို့ ရောက်ရှိသွားပြီး Google Cloud သည် ဒေသတိုင်းတွင် တစ်ချိန်တည်း ပျက်သွားသည် — Cloudflare လည်း ၎င်းနှင့်အတူ ပြိုလဲသွားသည်၊ ထို့နောက် Google ကို "third-party provider" ဟု ခေါ်ဆိုသည်။ 2025 ခုနှစ်၊ ဇွန်လ 12 ရက်၊ 17:49 UTC။ Google ၏ အစီရင်ခံစာ- Service Control၊ API တောင်းဆိုမှုတိုင်းကို ခွင့်ပြုသည့် binary သည် သုံးနာရီကြာ crash loop တွင်ရှိသည်။ Cloudflare ၏ အဆိုအရ ထိုညနေပိုင်းတွင် Workers KV၊ ၉၀ ရာခိုင်နှုန်း ပျက်ကွက်သည်၊ နှစ်နာရီ နှစ်ဆယ့်ရှစ်မိနစ်။
0:23 ဘယ်လိုဖြစ်ခဲ့လဲ၊ ဘာကြောင့် အကွက်လပ်တစ်ခုတည်းက စက္ကန့်ပိုင်းအတွင်း ကမ္ဘာအနှံ့ ပျံ့နှံ့သွားခဲ့လဲ၊ ပြီးတော့ ဘယ်သူ့မှာ အပြစ်ရှိလဲ။ ဒီက The Daily Diff၊ သေပြီးနောက် စစ်ဆေးခြင်း။ မေလ 29 ရက်။ Service Control သည် red button ပါရှိသော ဒေသအလိုက် ထုတ်လုပ်သည့်
အချိန်ဇယား- မေလ 29 → 17:45 → crash loop → red button → 17:52 Cloudflare
0:35 quota စစ်ဆေးမှုအသစ်ကို ရရှိသည် — သို့သော် code path အသစ်သည် roll out လုပ်နေစဉ်အတွင်း ဘယ်တော့မှ မလည်ပတ်ပါ၊ ဘာမှ မစတင်သေးပါ။ Null check မရှိ။ Feature flag မရှိ။ 17:45။ အကွက်လပ်များပါရှိသော ပေါ်လစီပြောင်းလဲမှုသည် Spanner table သို့ ရောက်ရှိလာသည်။ Quota သည် ကမ္ဘာလုံးဆိုင်ရာဖြစ်သောကြောင့် ထိုတန်းသည် စက္ကန့်ပိုင်းအတွင်း နေရာတိုင်းသို့ ပုံတူကူးသည်။ Service Control binary တိုင်းသည် ၎င်းကို ဖတ်မိပြီး null pointer သို့ ရောက်ရှိကာ ပျက်စီး၊ ပြန်လည်စတင်၊ ထပ်မံဖတ်ရှုသည်။ API ခေါ်ဆိုမှုတိုင်း- 503။
0:55 Google သည် မြန်ဆန်သည်- နှစ်မိနစ်အတွင်း triage၊ ဆယ်မိနစ်အတွင်း root cause။ Red button ကို လေးဆယ်မိနစ်အတွင်း ထုတ်ပြီး အသေးစား ဒေသများက အရင်ပြန်လည်ကောင်းမွန်သည်။ Status page က ၎င်း၏ ပထမဆုံး update ကို တစ်နာရီနောက်ကျပြီး တင်သည်၊ အဘယ်ကြောင့်ဆိုသော် ၎င်းသည် Google Cloud တွင် လည်ပတ်နေသောကြောင့်ဖြစ်သည်။ 17:52။ Cloudflare ၏ WARP အဖွဲ့သည် စက်ပစ္စည်းအသစ်များ မှတ်ပုံတင်ရန် ပျက်ကွက်သည်ကို တွေ့ရသည်။ Workers KV၊ Cloudflare ၏ တစ်ဝက်ခန့်က config နှင့် identity အတွက် အသုံးပြုသည့် store သည် third-party cloud တွင် တည်ရှိသည်။ Access သည် login တိုင်းကို ပျက်ကွက်သည် — ဒီဇိုင်းအရ ၎င်းသည် ပိတ်ဆို့သည်။
1:20 Workers AI သည် inference တိုင်းကို ပျက်ကွက်သည်။ 19:11၊ Gergely Orosz: တစ်ချိန်တည်းတွင် လွတ်လပ်သော clouds နှစ်ခု ပျက်စီးသည်၊ ဒီလိုမျိုး တစ်ခါမှ မမြင်ဖူးပါ။ 19:32၊ Google support သည် အသုံးပြုသူတစ်ဦးကို သိရှိထားသော ပြတ်တောက်မှုများ မရှိကြောင်း ပြောသည် — သင်၏ cookies များကို ရှင်းကြည့်ပါ။ အခြားနေရာများအားလုံး 19:48 တွင် ပြန်လည်ကောင်းမွန်သည်။
us-central1: အုပ်စုလိုက် သက်ရောက်မှု
1:34 us-central1 က မကောင်းမွန်- ပြန်လည်စတင်သည့် tasks များသည် တူညီသော Spanner table ကို လွှမ်းမိုးသည်၊ randomized backoff မရှိ၊ ထို့ကြောင့် Google က ၎င်းတို့ကို ကိုယ်တိုင် ထိန်းချုပ်သည်။ နှစ်နာရီ လေးဆယ်။ တစ်: ပေါ်လစီစစ်ဆေးမှုသည် request path အတွင်း၌ ရှိသည်; စစ်ဆေးမှု ပျက်စီးသွားသောအခါ၊
ယန္တရား- တောင်းဆိုမှုလမ်းကြောင်းတွင် စစ်ဆေးခြင်း၊ ကမ္ဘာလုံးဆိုင်ရာ ပုံတူကူးခြင်း၊ ရောင်းချသူတစ်ဦးတည်း
1:46 API က ပျက်စီးသည်။ နှစ်: quota data သည် staging မပါဘဲ ကမ္ဘာလုံးဆိုင်ရာသို့ ရောက်ရှိသည်; မကောင်းသော တန်းတစ်ခုသည် ကမ္ဘာလုံးဆိုင်ရာ တန်းတစ်ခုဖြစ်သည်။ သုံး: Cloudflare က သိသည်။ Workers KV သည် ၎င်း၏ကိုယ်ပိုင် R2 သို့ ကူးပြောင်းနေဆဲဖြစ်ပြီး ပံ့ပိုးသူတစ်ဦးတည်းအထိ ရောက်ရှိနေသည် — postmortem က ၎င်းကို ကာမိမှု ကွာဟချက်ဟု ခေါ်ဆိုသည်။
git blame — ကွဲပြားခြင်း
2:00 git blame။ Google၊ ၅၅ ရာခိုင်နှုန်း- null check မရှိ၊ feature flag မရှိ၊ backoff မရှိ — ၎င်းတို့၏ အစီရင်ခံစာက flag တစ်ခုသည် staging တွင် ၎င်းကို တွေ့ရှိလိမ့်မည်ဟု ဆိုသည်။ ကမ္ဘာလုံးဆိုင်ရာ ပုံတူကူးခြင်း၊ ၂၀ ရာခိုင်နှုန်း- တန်းတစ်ခု၊ ဒေသတိုင်း၊ စက္ကန့်ပိုင်း။ Cloudflare၊ ၂၀ ရာခိုင်နှုန်း- ထုတ်ကုန်လိုင်းတစ်ဝက်သည် ရောင်းချသူတစ်ဦး၏ store တွင်ရှိသည်၊ ပြီးတော့ Google လို့ ဘယ်တော့မှ မပြောတဲ့ postmortem။ Status page၊ ငါး၊ ၎င်း၏ အစီရင်ခံသည့်အရာပေါ်တွင် တည်ရှိနေခြင်းအတွက်။ ပျက်စီးမှု အတိုင်းအတာ- Google Cloud ထုတ်ကုန် ၇၀၊ Workspace apps ၁၀ ခု၊
ပျက်စီးမှု အတိုင်းအတာ
2:23 ဒေသတိုင်း။ သုံးနာရီ။ Cloudflare တွင်- Access, WARP, Workers AI, Pages, Stream — နှစ်နာရီခွဲ။ Hacker News၊ ၁၄၀၀ မှတ်; ထိပ်တန်း comment: status page က စိမ်းနေသည်။
စီရင်ချက် + တနင်္လာနေ့ အခြေအနေ
2:33 စီရင်ချက်၊ postmortem: SHIP IT။ postmortems နှစ်ခုစလုံးသည် နာရီ ၃၀ အတွင်း ရောက်ရှိလာသည်၊ နှစ်ခုစလုံးသည် မိမိကိုယ်ကို အပြစ်တင်သည်၊ Google ၏ ပြင်ဆင်မှုများမှာ ခိုင်မာသည်- fail open၊ flags များကို default အားဖြင့် ပိတ်ထားသည်၊ exponential backoff။ Monday line: flag နောက်ကွယ်ရှိ new code ကို ship off လုပ်သည်၊ ပြီးတော့ data ဝင်လာတဲ့နေရာမှာ null check လုပ်သည်။ သင် မပြောပြနိုင်သေးတဲ့ incident ကို ကျွန်တော့်ဆီ ပို့ပေးပါ။ comments မှာဖြစ်ဖြစ်၊ daily diff dot dev မှာဖြစ်ဖြစ်။ ဒီနေ့အတွက် diff က ဒါပါပဲ။
2:53 ကျွန်တော်က Axrisi က Niko ပါ။ REVERT လုပ်ပါ။
ရင်းမြစ်များ
- Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
- Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
- Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
- Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
- @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
- Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
- Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
- Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
- Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com



