+− THE DAILY DIFFdev & AI news
SHIP IT

ఖాళీ క్షేత్రంలో గూగుల్ క్లౌడ్ క్రాష్ అయింది. మూడు గంటలు.

కొన్ని ఖాళీ క్షేత్రాలతో కూడిన పాలసీ అడ్డువరుస నల్ పాయింటర్‌ని తాకింది, మరియు గూగుల్ క్లౌడ్ ఒకేసారి అన్ని ప్రాంతాలలో క్రాష్ అయ్యింది — ఆ తర్వాత క్లౌడ్‌ఫ్లేర్ కూడా పడిపోయింది.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

కొన్ని ఖాళీ క్షేత్రాలతో కూడిన పాలసీ అడ్డువరుస నల్ పాయింటర్‌ని తాకింది, మరియు గూగుల్ క్లౌడ్ ఒకేసారి అన్ని ప్రాంతాలలో క్రాష్ అయ్యింది — ఆ తర్వాత క్లౌడ్‌ఫ్లేర్ కూడా పడిపోయింది. జూన్ 12, 2025, 17:49 UTC: సర్వీస్ కంట్రోల్, ప్రతి గూగుల్ క్లౌడ్ API అభ్యర్థనను ఆమోదించే బైనరీ, "అనుకోని ఖాళీ క్షేత్రాలతో" కూడిన కోటా-పాలసీ మార్పును చదువుతుంది, రెండు వారాల ముందు నల్ చెక్ లేకుండా మరియు ఫీచర్ ఫ్లాగ్ లేకుండా పంపబడిన కోడ్ పాత్‌ను తాకుతుంది, మరియు ప్రతి ప్రాంతంలో క్రాష్ లూప్‌లోకి వెళుతుంది — ఈ అడ్డువరుస కొన్ని సెకన్లలో ప్రపంచవ్యాప్తంగా ప్రతిరూపం చేయబడింది. బాహ్య APIలు మూడు గంటల పాటు 503ని తిరిగి ఇస్తాయి; us-central1కి 2 గం 40 నిమి పడుతుంది, ఎందుకంటే పునఃప్రారంభించే పనులు ఒకే స్పానర్ టేబుల్‌ను ఎటువంటి యాదృచ్ఛిక బ్యాకఆఫ్ లేకుండా ముట్టడిస్తాయి. గూగుల్ అంతరాయం ప్రారంభమైన మూడు నిమిషాల్లో, క్లౌడ్‌ఫ్లేర్ యొక్క వర్కర్స్ KV — దీని సత్యానికి మూలం "థర్డ్-పార్టీ క్లౌడ్ ప్రొవైడర్"పై ఉంది — 90% అభ్యర్థనలను కోల్పోతుంది, మరియు యాక్సెస్, WARP, వర్కర్స్ AI, పేజీలు, స్ట్రీమ్ మరియు టర్న్‌స్టైల్ 2 గం 28 నిమిషాల పాటు దానితో పాటు పడిపోతాయి. గూగుల్ యొక్క స్టేటస్ పేజీ దాని మొదటి అప్‌డేట్‌ను ఒక గంట ఆలస్యంగా పోస్ట్ చేస్తుంది, ఎందుకంటే అది గూగుల్ క్లౌడ్‌లో నడుస్తుంది.

వ్రాతపూర్వక సంచికను చదవండి (ఇంగ్లీష్) ↗

ఈ వీడియో ఏమి కవర్ చేస్తుంది

  • ఒక ఖాళీ క్షేత్రం, ఒక నల్ పాయింటర్, ప్రతి ప్రాంతం
  • కాలక్రమం: మే 29 → 17:45 → క్రాష్ లూప్ → రెడ్ బటన్ → 17:52 క్లౌడ్‌ఫ్లేర్
  • us-central1: మంద ప్రభావం
  • యంత్రాంగం: అభ్యర్థన మార్గంలో తనిఖీ, ప్రపంచవ్యాప్త ప్రతిరూపణ, ఒక విక్రేత
  • git blame — విభజన

ప్రశ్నలు మరియు సమాధానాలు

జూన్ 12, 2025 Google Cloud అంతరాయానికి కారణమేమిటి?

ఖాళీ ఫీల్డ్‌లతో కూడిన కోటా-పాలసీ వరుస సర్వీస్ కంట్రోల్‌ను క్రాష్ చేసింది, ఇది ప్రతి Google Cloud API అభ్యర్థనను ఆమోదించే బైనరీ. Google యొక్క సంఘటన నివేదిక ప్రకారం, ఈ వరుస null తనిఖీ లేని మరియు ఫీచర్ ఫ్లాగ్ లేని కోడ్ పాత్‌ను తాకింది, మరియు బైనరీ ప్రతి ప్రాంతంలో క్రాష్ లూప్‌లోకి వెళ్లింది. బాహ్య APIలు దాదాపు మూడు గంటల పాటు 503 లోపాలను తిరిగి ఇచ్చాయి.

ఈ భాగాన్ని చూడండి 0:32 · status.cloud.google.com

సేవలను పునఃప్రారంభించడం ఒక ప్రాంతంలో క్లౌడ్ అంతరాయం ఎక్కువ కాలం ఉండటానికి కారణమెందుకు?

ఒకేసారి అనేక పనులు పునఃప్రారంభమవడం ఒకే భాగస్వామ్య డేటాబేస్‌ను ఓవర్‌లోడ్ చేయగలదు. us-central1లో, Google యొక్క పునఃప్రారంభ పనులు రాండమైజ్డ్ బ్యాక్‌ఆఫ్ లేకుండా ఒక స్పానర్ టేబుల్‌ను ఒకేసారి తాకాయి, కాబట్టి Google వాటిని స్వయంగా నిలిపివేసింది. ఈ ప్రాంతం కోలుకోవడానికి రెండు గంటల నలభై నిమిషాలు పట్టింది, అయితే ఇతర ప్రాంతాలు 19:48 నాటికి కోలుకున్నాయి.

ఈ భాగాన్ని చూడండి 1:32 · status.cloud.google.com

Google Cloud నిలిచిపోయినప్పుడు Cloudflare సేవలు ఎందుకు విఫలమయ్యాయి?

Cloudflare యొక్క Workers KV తన మూల సత్యాన్ని మూడవ పక్ష క్లౌడ్ ప్రొవైడర్‌లో ఉంచింది. Cloudflare ప్రకారం, Workers KV 90% అభ్యర్థనలను కోల్పోయింది, మరియు యాక్సెస్, WARP, Workers AI, పేజీలు, స్ట్రీమ్ మరియు టర్న్‌స్టైల్ దానితో పాటు 2 గం 28 నిమిషాలు నిలిచిపోయాయి. ఈ సంఘటన Workers KV Cloudflare యొక్క స్వంత R2 నిల్వకు మైగ్రేషన్ మధ్యలో ఉందని గమనికలు తెలుపుతున్నాయి.

ఈ భాగాన్ని చూడండి 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

ప్రతి ప్రాంతంలో ఒక సేవను క్రాష్ చేయకుండా చెడు కాన్ఫిగరేషన్ వరుసను బృందాలు ఎలా ఆపగలవు?

ఈ సంఘటన నుండి మూడు పద్ధతులు అనుసరించబడతాయి. కొత్త కోడ్‌ను ఫీచర్ ఫ్లాగ్ వెనుక ఉంచండి, ఇది ఆపివేయబడుతుంది, డేటా ఎంటర్ అయిన చోట null కోసం తనిఖీ చేయండి మరియు ఒకేసారి ప్రపంచవ్యాప్తంగా ప్రతిబింబించే బదులు కోటా డేటాను స్టేజ్ చేయండి. Google నివేదిక ప్రకారం ఒక ఫ్లాగ్ స్టేజింగ్‌లో బగ్‌ను పట్టుకునేది, మరియు దాని పరిష్కారాలలో ఫెయిలింగ్ ఓపెన్ మరియు ఎక్స్‌పోనెన్షియల్ బ్యాక్‌ఆఫ్ ఉన్నాయి.

ఈ భాగాన్ని చూడండి 1:43 · status.cloud.google.com

జూన్ 12 నాటి Google Cloud మరియు Cloudflare పోస్ట్‌మార్టమ్‌లు సంఘటన నివేదికలకు మంచి ఉదాహరణగా నిలుస్తాయా?

The Daily Diff యొక్క తీర్పు SHIP IT. రెండు పోస్ట్‌మార్టమ్‌లు ముప్పై గంటల్లోపు వచ్చాయి మరియు రెండు తమ సొంత కంపెనీలను నిందించాయి. Google యొక్క పరిష్కారాలు నిర్దిష్టమైనవి, అవి ఫెయిల్ ఓపెన్, డిఫాల్ట్‌గా ఆఫ్‌లో ఉండే ఫ్లాగ్‌లు మరియు ఎక్స్‌పోనెన్షియల్ బ్యాక్‌ఆఫ్. సోమవారం కోసం తీసుకోవలసిన విషయం ఏమిటంటే, ఆఫ్‌లో ప్రారంభమయ్యే ఫ్లాగ్ వెనుక కొత్త కోడ్‌ను షిప్ చేయడం.

ఈ భాగాన్ని చూడండి 2:33 · status.cloud.google.com · blog.cloudflare.com

అనువదించబడిన ట్రాన్స్క్రిప్ట్

అసలైన ఆంగ్ల కథనం నుండి అనువదించబడింది. అందుబాటులో ఉన్న ఆడియో మరియు క్యాప్షన్లు YouTube ద్వారా నియంత్రించబడతాయి.

ఒక ఖాళీ క్షేత్రం, ఒక నల్ పాయింటర్, ప్రతి ప్రాంతం

0:00 ఖాళీ క్షేత్రాలతో కూడిన పాలసీ అడ్డువరుస నల్ పాయింటర్‌ని తాకింది, మరియు గూగుల్ క్లౌడ్ క్రాష్ అయింది ఒకేసారి అన్ని ప్రాంతాలలో — మరియు క్లౌడ్‌ఫ్లేర్ కూడా దానితో పాటు పడిపోయింది, ఆ తర్వాత గూగుల్‌ను "థర్డ్-పార్టీ ప్రొవైడర్" అని పిలిచింది. జూన్ 12, 2025, 17:49 UTC. గూగుల్ నివేదిక: సర్వీస్ కంట్రోల్, ప్రతి API అభ్యర్థనను ఆమోదించే బైనరీ, మూడు గంటల పాటు క్రాష్ లూప్‌లో. క్లౌడ్‌ఫ్లేర్ యొక్క, అదే సాయంత్రం: వర్కర్స్ KV, తొంభై శాతం విఫలమవుతోంది, రెండు గంటల ఇరవై ఎనిమిది.

0:23 అది ఎలా జరిగింది, ఒక ఖాళీ క్షేత్రం సెకన్లలో ప్రపంచవ్యాప్తంగా ఎలా విస్తరించింది, మరియు ఎవరు నిందించబడతారు. ఇది The Daily Diff, పోస్ట్‌మార్టమ్. మే 29. సర్వీస్ కంట్రోల్‌కు కొత్త కోటా చెక్ వస్తుంది, రెడ్ బటన్‌తో ప్రాంతాల వారీగా పంపబడింది —

కాలక్రమం: మే 29 → 17:45 → క్రాష్ లూప్ → రెడ్ బటన్ → 17:52 క్లౌడ్‌ఫ్లేర్

0:35 కానీ కొత్త కోడ్ పాత్ రోల్‌అవుట్ సమయంలో ఎప్పుడూ అమలు కాదు; ఇంకా ఏదీ దానిని ట్రిగ్గర్ చేయదు. నల్ చెక్ లేదు. ఫీచర్ ఫ్లాగ్ లేదు. 17:45. ఖాళీ క్షేత్రాలతో కూడిన పాలసీ మార్పు స్పానర్ టేబుల్‌లో చేరుతుంది. కోటా ప్రపంచవ్యాప్తంగా ఉంది, కాబట్టి అడ్డువరుస కొన్ని సెకన్లలో అన్ని చోట్ల ప్రతిరూపం చేయబడింది. ప్రతి సర్వీస్ కంట్రోల్ బైనరీ దానిని చదువుతుంది, నల్ పాయింటర్‌ని తాకుతుంది, క్రాష్ అవుతుంది, పునఃప్రారంభమవుతుంది, మళ్ళీ చదువుతుంది. ప్రతి API కాల్: 503.

0:55 గూగుల్ వేగంగా ఉంది: రెండు నిమిషాల్లో ట్రైయేజ్, పది నిమిషాల్లో మూల కారణం. రెడ్ బటన్ నలభైలో బయటపడింది, మరియు చిన్న ప్రాంతాలు ముందుగా కోలుకుంటాయి. స్టేటస్ పేజీ ఒక గంట ఆలస్యంగా దాని మొదటి అప్‌డేట్‌ను పోస్ట్ చేస్తుంది, ఎందుకంటే అది గూగుల్ క్లౌడ్‌లో నడుస్తుంది. 17:52. క్లౌడ్‌ఫ్లేర్ యొక్క WARP బృందం కొత్త పరికరాలు నమోదు చేయడంలో విఫలమవడాన్ని చూస్తుంది. వర్కర్స్ KV, క్లౌడ్‌ఫ్లేర్ కాన్ఫిగ్ మరియు ఐడెంటిటీ కోసం ఉపయోగించే స్టోర్ సగం, మూడవ పక్ష క్లౌడ్‌లో నివసిస్తుంది. యాక్సెస్ ప్రతి లాగిన్‌ను విఫలం చేస్తుంది — డిజైన్ ప్రకారం, అది క్లోజ్డ్ విఫలమవుతుంది.

1:20 వర్కర్స్ AI ప్రతి ఇన్ఫరెన్స్‌ను విఫలం చేస్తుంది. 19:11, గెర్గెలీ ఒరోస్జ్: రెండు స్వతంత్ర క్లౌడ్‌లు ఒకేసారి పడిపోయాయి, ముందు ఎప్పుడూ చూడలేదు. 19:32, గూగుల్ మద్దతు ఒక వినియోగదారుడికి ఎటువంటి అంతరాయాలు లేవని చెబుతుంది — మీ కుకీలను క్లియర్ చేయడానికి ప్రయత్నించండి. అన్ని చోట్ల 19:48 నాటికి కోలుకుంటాయి.

us-central1: మంద ప్రభావం

1:34 us-central1 కాదు: పునఃప్రారంభించే పనులు ఒకే స్పానర్ టేబుల్‌ను ముట్టడిస్తాయి, యాదృచ్ఛిక బ్యాకఆఫ్ లేదు, కాబట్టి గూగుల్ వాటిని చేతితో థ్రాటిల్ చేస్తుంది. రెండు గంటల నలభై. ఒకటి: పాలసీ చెక్ అభ్యర్థన మార్గంలో కూర్చుంటుంది; చెక్ చనిపోయినప్పుడు,

యంత్రాంగం: అభ్యర్థన మార్గంలో తనిఖీ, ప్రపంచవ్యాప్త ప్రతిరూపణ, ఒక విక్రేత

1:46 API చనిపోతుంది. రెండు: కోటా డేటా స్టేజింగ్ లేకుండా ప్రపంచవ్యాప్తంగా వెళుతుంది; చెడ్డ అడ్డువరుస ఒక ప్రపంచవ్యాప్త అడ్డువరుస. మూడు: క్లౌడ్‌ఫ్లేర్‌కు తెలుసు. వర్కర్స్ KV దాని స్వంత R2కి మధ్య-వ్యాప్తిలో ఉంది, ఒక ప్రొవైడర్‌కు — పోస్ట్‌మార్టమ్ దానిని కవరేజ్‌లో లోపం అని పిలుస్తుంది.

git blame — విభజన

2:00 git blame. గూగుల్, యాభై ఐదు శాతం: నల్ చెక్ లేదు, ఫీచర్ ఫ్లాగ్ లేదు, బ్యాకఆఫ్ లేదు — వారి నివేదిక ప్రకారం ఒక ఫ్లాగ్ దానిని స్టేజింగ్‌లో పట్టుకునేది. ప్రపంచవ్యాప్త ప్రతిరూపణ, ఇరవై: ఒక అడ్డువరుస, ప్రతి ప్రాంతం, సెకన్లు. క్లౌడ్‌ఫ్లేర్, ఇరవై: ఒక విక్రేత స్టోర్‌లో సగం ఉత్పత్తి శ్రేణి, మరియు గూగుల్ అని ఎప్పుడూ చెప్పని ఒక పోస్ట్‌మార్టమ్. స్టేటస్ పేజీ, ఐదు, అది నివేదించే దానిపై నివసించినందుకు. విస్ఫోటన వ్యాసార్థం: డెబ్బై గూగుల్ క్లౌడ్ ఉత్పత్తులు, పది వర్క్‌స్పేస్ యాప్‌లు,

విస్ఫోటన వ్యాసార్థం

2:23 ప్రతి ప్రాంతం. మూడు గంటలు. క్లౌడ్‌ఫ్లేర్‌లో: యాక్సెస్, WARP, వర్కర్స్ AI, పేజీలు, స్ట్రీమ్ — రెండున్నర. హ్యాకర్ న్యూస్, పద్నాలుగు వందల పాయింట్లు; టాప్ వ్యాఖ్య: స్టేటస్ పేజీ పచ్చగా ఉంది.

తీర్పు + సోమవారం పంక్తి

2:33 తీర్పు, పోస్ట్‌మార్టమ్: SHIP IT. రెండు పోస్ట్‌మార్టమ్‌లు ముప్పై గంటల్లోపు చేరుతాయి, రెండూ తమను తాము నిందించుకుంటాయి, మరియు గూగుల్ పరిష్కారాలు స్పష్టంగా ఉన్నాయి: ఓపెన్ విఫలం, ఫ్లాగ్‌లు డిఫాల్ట్‌గా ఆఫ్, ఘాతాంక బ్యాకఆఫ్. సోమవారం పంక్తి: ఆఫ్ అయ్యే ఫ్లాగ్ వెనుక కొత్త కోడ్ షిప్పులు, మరియు డేటా వచ్చే చోట ఒక నల్ చెక్. మీరు ఇంకా మాట్లాడటానికి అనుమతి లేని సంఘటనను నాకు పంపండి, వ్యాఖ్యలలో, లేదా The Daily Diff.dev వద్ద. మరియు అది ఈ రోజుకు diff.

2:53 నేను Axrisi నుండి నికో. బాధ్యతాయుతంగా విలీనం చేయండి.

మూలాలు

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

సంబంధిత వీడియోలు

postmortem · te · 16 సెప్టెం, 2026

ఫేస్‌బుక్ ఇంటర్నెట్ నుండి తనను తాను తొలగించుకుంది. ఆరు గంటలు.

ఫేస్‌బుక్ తన అడ్రస్‌ను ఇంటర్నెట్ నుండి తొలగించింది, మరియు దాని ఇంజనీర్లు దాన్ని తిరిగి పెట్టడానికి వచ్చినప్పుడు, బ్యాడ్జ్ రీడర్‌లు కూడా పనిచేయలేదు, ఎందుకంటే అవి ఫేస్‌బుక్‌పై పనిచేస్తాయి. అక్టోబర్ 4, 2

3:01 ↗
postmortem · te · 25 సెప్టెం, 2026

ఒక మిల్లీసెకను బగ్ UK విమాన ట్రాఫిక్‌ను ఆపింది. ఆరు గంటలు.

సెప్టెంబర్ 8, మంగళవారం 10:00 గంటలకు, NATS యొక్క నేషనల్ ఎయిర్‌స్పేస్ సిస్టమ్ (NAS) లోపల ఒక సాధారణ స్క్వాక్-కోడ్ అభ్యర్థన ఒక విలువను అప్‌డేట్ చేస్తున్నప్పుడు అధిక-ప్రాధాన్యత సందేశం ద్వారా అంతరాయం కలిగిం

3:06 ↗
postmortem · te · 22 సెప్టెం, 2026

రీబూట్ టెల్స్ట్రాను 2006కి పంపింది. తొంభై లక్షల ఫోన్‌లు.

మెల్‌బోర్న్‌లోని ఒక ఇంజనీర్ తెల్లవారుజామున 2:50కి ఒక టైమింగ్ ఛాసిస్‌ను తిరిగి ఆన్ చేస్తారు, అల్పాహారం సమయానికి ఆస్ట్రేలియాలోని అతిపెద్ద మొబైల్ నెట్‌వర్క్ అది నవంబర్ 2006 అని అంగీకరిస్తుంది. జూలై 8, 20

3:15 ↗
postmortem · te · 12 సెప్టెం, 2026

ఒక రెగ్యులర్ ఎక్స్‌ప్రెషన్ క్లౌడ్‌ఫ్లేర్‌ను డౌన్ చేసింది. 27 నిమిషాలు.

జూలై 2, 2019, 13:42 UTC: క్లౌడ్‌ఫ్లేర్ వెబ్ అప్లికేషన్ ఫైర్‌వాల్ కోసం ఒక కొత్త నియమం 180+ నగరాల్లో సుమారు రెండు సెకన్లలో ప్రత్యక్షమవుతుంది. ఇది సిమ్యులేట్ మోడ్‌లో ఒక XSS నియమం, కాబట్టి ఇది దేనినీ నిరో

3:00 ↗