+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud-ը խափանվեց դատարկ դաշտի պատճառով։ Երեք ժամ։

Մի քանի դատարկ դաշտերով քաղաքականության տողը հանդիպում է null ցուցիչի, և Google Cloud-ը միանգամից խափանվում է բոլոր տարածաշրջաններում, ապա Cloudflare-ը ևս դադարում է աշխատել։ 2025 թվականի հունիսի 12, 17:49 UTC: Service Control-ը, որը հաստատում է Google Cloud API-ի յուրաքանչյուր հարցում, կարդում է քվոտայի քաղաքականության փոփոխություն՝ «աննպատակ դատարկ դաշտերով», հանդիպում է երկու շաբաթ առաջ թողարկված կոդի ուղուն՝ առանց null ստուգման և առանց ֆունկցիոնալ դրոշակի, և մտնում է խափանումների ցիկլի մեջ բոլոր տարածաշրջաններում.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Մի քանի դատարկ դաշտերով քաղաքականության տողը հանդիպում է null ցուցիչի, և Google Cloud-ը միանգամից խափանվում է բոլոր տարածաշրջաններում, ապա Cloudflare-ը ևս դադարում է աշխատել։ 2025 թվականի հունիսի 12, 17:49 UTC: Service Control-ը, որը հաստատում է Google Cloud API-ի յուրաքանչյուր հարցում, կարդում է քվոտայի քաղաքականության փոփոխություն՝ «աննպատակ դատարկ դաշտերով», հանդիպում է երկու շաբաթ առաջ թողարկված կոդի ուղուն՝ առանց null ստուգման և առանց ֆունկցիոնալ դրոշակի, և մտնում է խափանումների ցիկլի մեջ բոլոր տարածաշրջաններում. տողը գլոբալ կերպով կրկնօրինակվել էր վայրկյանների ընթացքում։ Արտաքին API-ները վերադարձնում են 503 երեք ժամվա ընթացքում, us-central1-ը տևում է 2 ժ 40 րոպե, քանի որ վերագործարկվող առաջադրանքները նույն Spanner աղյուսակը գերբեռնում են առանց պատահական հետաձգման։ Google-ի խափանումից երեք րոպե անց Cloudflare-ի Workers KV-ն, որի ճշմարտության աղբյուրը գտնվում է «երրորդ կողմի ամպային մատակարարի» վրա, կորցնում է հարցումների 90%-ը, իսկ Access-ը, WARP-ը, Workers AI-ը, Pages-ը, Stream-ը և Turnstile-ը դադարում են աշխատել 2 ժ 28 րոպե։ Google-ի կարգավիճակի էջը իր առաջին թարմացումը տեղադրում է մեկ ժամ ուշացումով, քանի որ այն աշխատում է Google Cloud-ի վրա։

Կարդացեք գրավոր տարբերակը (անգլերեն) ↗

Ինչ է ընդգրկում այս տեսանյութը

  • Դատարկ դաշտ, null ցուցիչ, յուրաքանչյուր տարածաշրջան
  • Ժամանակացույց՝ Մայիս 29 → 17:45 → խափանումների ցիկլ → կարմիր կոճակ → 17:52 Cloudflare
  • us-central1՝ հոտի էֆեկտ
  • Մեխանիզմ՝ ստուգում հարցման ուղու մեջ, գլոբալ կրկնօրինակում, մեկ վաճառող
  • git blame — բաժանումը

Հարցեր և պատասխաններ

Ինչը հանգեցրեց 2025 թվականի հունիսի 12-ի Google Cloud-ի անջատմանը։

Դատարկ դաշտերով քվոտա-քաղաքականության տողը խափանեց Service Control-ը՝ այն բինարը, որը հաստատում է Google Cloud API-ի յուրաքանչյուր հարցում։ Ըստ Google-ի միջադեպի զեկույցի՝ տողը հարվածել է կոդի ուղուն՝ առանց null ստուգման և առանց ֆունկցիոնալ դրոշակի, և բինարը խափանման ցիկլի մեջ է մտել յուրաքանչյուր տարածաշրջանում։ Արտաքին API-ները վերադարձրել են 503 սխալ մոտ երեք ժամվա ընթացքում։

Դիտեք այս հատվածը 0:32 · status.cloud.google.com

Ինչու՞ է ծառայությունների վերագործարկումը կարող է երկարացնել ամպային անջատումը մեկ տարածաշրջանում։

Միանգամից վերագործարկվող բազմաթիվ առաջադրանքները կարող են գերբեռնել նույն ընդհանուր տվյալների բազան։ us-central1-ում Google-ի վերագործարկվող առաջադրանքները մեկ Spanner աղյուսակը լցրեցին առանց պատահականացված հետաձգման, ուստի Google-ը դրանք ձեռքով սահմանափակեց։ Այդ տարածաշրջանին պահանջվեց երկու ժամ քառասուն րոպե վերականգնվելու համար, մինչդեռ մյուս տարածաշրջանները վերականգնվեցին մինչև 19:48-ը։

Դիտեք այս հատվածը 1:32 · status.cloud.google.com

Ինչու՞ Cloudflare ծառայությունները խափանվեցին, երբ Google Cloud-ը անջատվեց։

Cloudflare-ի Workers KV-ն իր ճշմարտության աղբյուրը պահում էր երրորդ կողմի ամպային մատակարարի վրա։ Ըստ Cloudflare-ի՝ Workers KV-ն կորցրեց հարցումների 90%-ը, և Access-ը, WARP-ը, Workers AI-ը, Pages-ը, Stream-ը և Turnstile-ը անջատվեցին դրա հետ միասին 2 ժամ 28 րոպեով։ Դրվագում նշվում է, որ Workers KV-ն գտնվում էր Cloudflare-ի սեփական R2 պահեստի միգրացիայի մեջ։

Դիտեք այս հատվածը 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Ինչպե՞ս կարող են թիմերը կանխել վատ կոնֆիգուրացիոն տողի կողմից ծառայության խափանումը յուրաքանչյուր տարածաշրջանում։

Այս միջադեպից բխում են երեք պրակտիկա։ Պահպանեք նոր կոդը ֆունկցիոնալ դրոշի հետևում, որն անջատվում է, ստուգեք null-ը, որտեղ տվյալները մուտք են գործում, և փուլային քվոտա տվյալները, փոխարենը դրանք միանգամից գլոբալ կրկնօրինակելու։ Google-ի զեկույցում ասվում է, որ դրոշը կբռներ սխալը փուլային փորձարկման ժամանակ, և դրա շտկումները ներառում են բաց ձախողում և էքսպոնենցիալ հետաձգում։

Դիտեք այս հատվածը 1:43 · status.cloud.google.com

Արդյո՞ք հունիսի 12-ի Google Cloud-ի և Cloudflare-ի հետմահու զեկույցները լավ օրինակ են ծառայում միջադեպերի մասին զեկույցների համար։

The Daily Diff-ի վճիռը SHIP IT էր։ Երկու հետմահու զեկույցներն էլ ներկայացվեցին երեսուն ժամվա ընթացքում, և երկուսն էլ մեղադրեցին իրենց ընկերություններին։ Google-ի շտկումները կոնկրետ էին, մասնավորապես բաց ձախողում, լռելյայն անջատված դրոշներ և էքսպոնենցիալ հետաձգում։ Երկուշաբթի օրվա դասը նոր կոդը դրոշի հետևում ուղարկելն է, որը սկզբում անջատված է։

Դիտեք այս հատվածը 2:33 · status.cloud.google.com · blog.cloudflare.com

Թարգմանված արձանագրություն

Թարգմանվել է բնօրինակ անգլերեն պատմությունից։ Հասանելի աուդիո և ենթագրերը վերահսկվում են YouTube-ի կողմից։

Դատարկ դաշտ, null ցուցիչ, յուրաքանչյուր տարածաշրջան

0:00 Դատարկ դաշտերով քաղաքականության տողը հանդիպում է null ցուցիչի, և Google Cloud-ը խափանվում է միանգամից բոլոր տարածաշրջաններում — և Cloudflare-ը ևս դադարում է աշխատել, ապա Google-ին անվանում է «երրորդ կողմի մատակարար»։ 2025 թվականի հունիսի 12, 17:49 UTC։ Google-ի զեկույցը՝ Service Control-ը, որը հաստատում է API-ի յուրաքանչյուր հարցում, խափանումների ցիկլի մեջ երեք ժամ։ Cloudflare-ի, նույն երեկոյան՝ Workers KV, իննսուն տոկոսը ձախողվում է, երկու ժամ քսանութ րոպե։

0:23 Ինչպես դա տեղի ունեցավ, ինչու մեկ դատարկ դաշտը գլոբալ դարձավ վայրկյանների ընթացքում, և ով է մեղավոր։ Սա The Daily Diff-ն է, հետմահու վերլուծություն։ Մայիսի 29։ Service Control-ը ստանում է քվոտայի նոր ստուգում, որը թողարկվում է տարածաշրջան առ տարածաշրջան՝

Ժամանակացույց՝ Մայիս 29 → 17:45 → խափանումների ցիկլ → կարմիր կոճակ → 17:52 Cloudflare

0:35 կարմիր կոճակով — բայց նոր կոդի ուղին երբեք չի աշխատում գործարկման ընթացքում. ոչինչ չի գործարկում այն դեռևս։ Ոչ մի null ստուգում։ Ոչ մի ֆունկցիոնալ դրոշակ։ 17:45։ Դատարկ դաշտերով քաղաքականության փոփոխությունն ընկնում է Spanner աղյուսակի մեջ։ Քվոտան գլոբալ է, ուստի տողը կրկնօրինակվում է ամենուր վայրկյանների ընթացքում։ Յուրաքանչյուր Service Control binary կարդում է այն, հանդիպում է null ցուցիչին, խափանվում է, վերագործարկվում, նորից կարդում է այն։ Յուրաքանչյուր API կանչ՝ 503։

0:55 Google-ն արագ է. տրիաժ երկու րոպեում, հիմնական պատճառը՝ տասը րոպեում։ Կարմիր կոճակը հանվում է քառասուն րոպեում, և փոքր տարածաշրջանները վերականգնվում են առաջինը։ Կարգավիճակի էջը իր առաջին թարմացումը տեղադրում է մեկ ժամ անց, քանի որ այն աշխատում է Google Cloud-ի վրա։ 17:52։ Cloudflare-ի WARP թիմը տեսնում է, որ նոր սարքերը չեն կարողանում գրանցվել։ Workers KV-ն, Cloudflare-ի կողմից կոնֆիգուրացիայի և ինքնության համար օգտագործվող պահեստի կեսը, գտնվում է երրորդ կողմի ամպում։ Access-ը ձախողում է յուրաքանչյուր մուտք — ըստ դիզայնի, այն ձախողվում է փակ վիճակում։

1:20 Workers AI-ը ձախողում է յուրաքանչյուր ինֆերենցիա։ 19:11, Gergely Orosz. երկու անկախ ամպեր միանգամից խափանվել են, նախկինում երբեք չի տեսնվել։ 19:32, Google-ի աջակցությունը օգտվողին հայտնում է, որ հայտնի խափանումներ չկան — փորձեք մաքրել ձեր քուքիները։ Մնացած ամենուր վերականգնվում է մինչև 19:48։

us-central1՝ հոտի էֆեկտ

1:34 us-central1-ը չի վերականգնվում. վերագործարկվող առաջադրանքները գերբեռնում են նույն Spanner աղյուսակը, առանց պատահական հետաձգման, ուստի Google-ը դրանք ձեռքով է սահմանափակում։ Երկու ժամ քառասուն րոպե։ Մեկ՝ քաղաքականության ստուգումը գտնվում է հարցման ուղու մեջ. երբ ստուգումը դադարում է,

Մեխանիզմ՝ ստուգում հարցման ուղու մեջ, գլոբալ կրկնօրինակում, մեկ վաճառող

1:46 API-ը դադարում է։ Երկու՝ քվոտայի տվյալները գլոբալ են դառնում առանց փուլերի. վատ տողը գլոբալ տող է։ Երեք՝ Cloudflare-ը գիտեր։ Workers KV-ն գտնվում էր իր սեփական R2-ի միգրացիայի կեսին, մինչև մեկ մատակարար — հետմահու վերլուծությունը այն անվանում է ծածկույթի բացակայություն։

git blame — բաժանումը

2:00 git blame։ Google, հիսունհինգ տոկոս՝ ոչ մի null ստուգում, ոչ մի ֆունկցիոնալ դրոշակ, ոչ մի հետաձգում — նրանց զեկույցում ասվում է, որ դրոշակը կբռներ այն փուլում։ Գլոբալ կրկնօրինակում, քսան տոկոս՝ մեկ տող, յուրաքանչյուր տարածաշրջան, վայրկյաններ։ Cloudflare, քսան տոկոս՝ ապրանքի կեսը մեկ վաճառողի պահեստում, և հետմահու վերլուծություն, որը երբեք չի նշում Google։ Կարգավիճակի էջը, հինգ տոկոս, այն բանի համար, որ ապրում է այն ամենի վրա, ինչի մասին զեկուցում է։ Պայթյունի շառավիղը՝ յոթանասուն Google Cloud արտադրանք, տասը Workspace հավելված,

Պայթյունի շառավիղը

2:23 յուրաքանչյուր տարածաշրջան։ Երեք ժամ։ Cloudflare-ում՝ Access, WARP, Workers AI, Pages, Stream — երկուսուկես։ Hacker News, տասնչորս հարյուր միավոր. լավագույն մեկնաբանություն՝ կարգավիճակի էջը կանաչ է։

Դատավճիռ + երկուշաբթիի գիծը

2:33 Դատավճիռ, հետմահու վերլուծություն՝ SHIP IT։ Երկու հետմահու վերլուծություններն էլ հայտնվում են երեսուն ժամվա ընթացքում, երկուսն էլ մեղադրում են իրենց, և Google-ի ուղղումները կոնկրետ են՝ բաց ձախողում, դրոշակները լռելյայն անջատված, էքսպոնենցիալ հետաձգում։ Երկուշաբթիի գիծը՝ նոր կոդը դրոշակի հետևում, որը առաքվում է անջատված, և null ստուգում այնտեղ, որտեղ տվյալները մտնում են։ Ուղարկեք ինձ այն միջադեպը, որի մասին դուք դեռ չեք կարող խոսել, մեկնաբանություններում, կամ the daily diff dot dev հասցեով։ Եվ դա է այսօրվա տարբերությունը։

2:53 Ես Նիկոն եմ Axrisi-ից։ Միավորել պատասխանատվությամբ։

Աղբյուրներ

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Հարակից տեսանյութեր

postmortem · hy · 25 սեպ, 2026 թ.

Մեկ միլիվայրկյանի սխալը կանգնեցրել է Մեծ Բրիտանիայի ավիափոխադրումները։ Վեց ժամով։

Սեպտեմբերի 8-ի երեքշաբթի, ժամը 10:00-ին, NATS-ի Ազգային Օդային Տարածքի Համակարգի (NAS) ներսում սքվոք կոդի մեկ սովորական հարցումն ընդհատվում է ավելի բարձր առաջնահերթության հաղորդագրությամբ, մինչ այն մա

3:06 ↗
postmortem · hy · 22 սեպ, 2026 թ.

Վերագործարկումը Telstra-ին ուղարկեց 2006 թվական: Ինը միլիոն հեռախոս:

Մելբուրնի ինժեներն առավոտյան ժամը 2:50-ին միացնում է ժամանակաչափման շասսին, և մինչև նախաճաշ Ավստրալիայի ամենամեծ բջջային ցանցը համաձայնում է, որ դա 2006 թվականի նոյեմբերն է։ 2026 թվականի հուլիսի 8. Te

3:15 ↗