+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud bo'sh maydonda ishdan chiqdi. Uch soat.

Bir nechta bo'sh maydonli siyosat qatori null pointerga tushib, Google Cloud bir vaqtning o'zida har bir mintaqada ishdan chiqadi — keyin Cloudflare ham ishdan chiqadi.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Bir nechta bo'sh maydonli siyosat qatori null pointerga tushib, Google Cloud bir vaqtning o'zida har bir mintaqada ishdan chiqadi — keyin Cloudflare ham ishdan chiqadi. 2025-yil 12-iyun, 17:49 UTC: Har bir Google Cloud API so'rovini tasdiqlovchi ikkilik Service Control, "ko'zda tutilmagan bo'sh maydonlar" bilan kvota-siyosati o'zgarishini o'qiydi, ikki hafta oldin hech qanday null tekshiruvisiz va xususiyat bayrog'isiz yuborilgan kod yo'liga tushadi va har bir mintaqada qulash aylanishiga kiradi — qator bir necha soniya ichida butun dunyo bo'ylab takrorlangan edi. Tashqi APIlar uch soat davomida 503 qaytaradi; us-central1 2 soat 40 daqiqa davom etadi, chunki qayta ishga tushayotgan vazifalar bir xil Spanner jadvalini tasodifiy kechiktirishsiz to'ldiradi. Google'ning ishdan chiqishidan uch daqiqa o'tgach, Cloudflare'ning Workers KV — "uchinchi tomon bulut provayderida" joylashgan haqiqat manbai — so'rovlarning 90 % ini yo'qotadi va Access, WARP, Workers AI, Pages, Stream va Turnstile 2 soat 28 daqiqa davomida ishdan chiqadi. Google'ning holat sahifasi birinchi yangilanishini bir soat kech joylashtiradi, chunki u Google Cloudda ishlaydi.

Yozma nashrini oʻqing (inglizcha) ↗

Bu video nimani qamrab oladi

  • Bo'sh maydon, null pointer, har bir mintaqa
  • Vaqt jadvali: 29-may → 17:45 → qulash sikli → qizil tugma → 17:52 Cloudflare
  • us-central1: poda effekti
  • Mexanizm: so'rov yo'lidagi tekshiruv, global replikatsiya, bitta yetkazib beruvchi
  • git blame — bo'linish

Savollar va javoblar

2025-yil 12-iyundagi Google Cloud uzilishiga nima sabab bo‘ldi?

Bo‘sh maydonlarga ega kvota siyosati qatori har bir Google Cloud API so‘rovini tasdiqlovchi ikkilik fayl Service Controlni buzdi. Google’ning hodisa hisobotiga ko‘ra, qator null tekshiruvisiz va xususiyat bayrog‘isiz kod yo‘liga tushib qolgan va ikkilik fayl har bir mintaqada ishlamay qolgan. Tashqi API’lar taxminan uch soat davomida 503 xatolikni qaytardi.

Ushbu qismni tomosha qiling 0:32 · status.cloud.google.com

Nima uchun xizmatlarni qayta ishga tushirish bulutdagi uzilishni bir mintaqada uzoqroq davom ettirishi mumkin?

Bir vaqtning o‘zida ko‘plab vazifalarni qayta ishga tushirish bir xil umumiy ma’lumotlar bazasini haddan tashqari yuklashi mumkin. us-central1’da Google’ning qayta ishga tushirilayotgan vazifalari tasodifiy kechikishsiz Spanner jadvalini haddan tashqari yukladi, shuning uchun Google ularni qo‘lda chekladi. Bu mintaqa tiklanishi uchun ikki soat qirq daqiqa vaqt ketdi, boshqa mintaqalar esa 19:48 ga qadar tiklandi.

Ushbu qismni tomosha qiling 1:32 · status.cloud.google.com

Google Cloud ishlamay qolganda nima uchun Cloudflare xizmatlari ishlamadi?

Cloudflare’ning Workers KV o‘zining haqiqiy manbasini uchinchi tomon bulut provayderida saqlagan. Cloudflare’ga ko‘ra, Workers KV so‘rovlarning 90 foizini yo‘qotgan va Access, WARP, Workers AI, Pages, Stream va Turnstile uning bilan birga 2 soat 28 daqiqa davomida ishlamay qolgan. Epizodda Workers KV Cloudflare’ning o‘z R2 xotirasiga o‘tkazish jarayonida bo‘lganligi qayd etilgan.

Ushbu qismni tomosha qiling 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

Jamoalar yomon konfiguratsiya qatorining har bir mintaqadagi xizmatni buzishini qanday to‘xtatishi mumkin?

Ushbu hodisadan uchta amaliyot kelib chiqadi. Yangi kodni o‘chiriladigan xususiyat bayrog‘i orqasida saqlang, ma’lumotlar kiradigan joyda nullni tekshiring va kvota ma’lumotlarini bir vaqtning o‘zida global miqyosda takrorlash o‘rniga bosqichma-bosqich joylashtiring. Google’ning hisobotida aytilishicha, bayroq staging bosqichida xatoni ushlagan bo‘lar edi va uning tuzatishlari ochiq qoldirish va eksponensial kechikishni o‘z ichiga oladi.

Ushbu qismni tomosha qiling 1:43 · status.cloud.google.com

12-iyun kuni Google Cloud va Cloudflare’ning postmortemlari hodisa hisobotlari uchun yaxshi namuna bo‘ladimi?

The Daily Diff’ning xulosasi SHIP IT edi. Ikkala postmortem ham o‘ttiz soat ichida yakunlandi va ikkalasi ham o‘z kompaniyalarini aybladi. Google’ning tuzatishlari aniq edi, ya’ni ochiq qoldirish, bayroqlar sukut bo‘yicha o‘chirilgan va eksponensial kechikish. Dushanba uchun asosiy xulosa shundan iboratki, yangi kodni dastlab o‘chirilgan bayroq orqasida joylashtirish kerak.

Ushbu qismni tomosha qiling 2:33 · status.cloud.google.com · blog.cloudflare.com

Tarjima qilingan transkript

Asl inglizcha hikoyadan tarjima qilingan. Mavjud audio va subtitrlar YouTube tomonidan boshqariladi.

Bo'sh maydon, null pointer, har bir mintaqa

0:00 Bo'sh maydonli siyosat qatori null pointerga tushadi va Google Cloud bir vaqtning o'zida har bir mintaqada ishdan chiqadi — va Cloudflare ham u bilan ishdan chiqadi, keyin Google'ni "uchinchi tomon provayderi" deb ataydi. 2025-yil 12-iyun, 17:49 UTC. Google hisoboti: Service Control, har bir API so'rovini tasdiqlovchi ikkilik, uch soat davomida qulash aylanishida. Cloudflare'ning xuddi shu oqshom: Workers KV, to'qson foizi ishlamay qoldi, ikki soat yigirma sakkiz.

0:23 Qanday sodir bo'ldi, nega bitta bo'sh maydon bir necha soniya ichida global bo'ldi, va kim aybdor. Bu The Daily Diff, postmortem. 29-may. Service Control yangi kvota tekshiruvini oladi, mintaqa bo'yicha qizil tugma bilan

Vaqt jadvali: 29-may → 17:45 → qulash sikli → qizil tugma → 17:52 Cloudflare

0:35 jo'natilgan — lekin yangi kod yo'li ishga tushirish paytida hech qachon ishga tushmaydi; hech narsa uni hali ishga tushirmaydi. Null tekshiruv yo'q. Xususiyat bayrog'i yo'q. 17:45. Bo'sh maydonli siyosat o'zgarishi Spanner jadvaliga tushadi. Kvota global, shuning uchun qator bir necha soniya ichida hamma joyga takrorlanadi. Har bir Service Control ikkilik uni o'qiydi, null pointerga tushadi, ishdan chiqadi, qayta ishga tushadi, uni yana o'qiydi. Har bir API chaqirig'i: 503.

0:55 Google tez: ikki daqiqada triaj, o'n daqiqada asosiy sabab. Qizil tugma qirq daqiqada chiqadi va kichik mintaqalar birinchi bo'lib tiklanadi. Holat sahifasi bir soatdan keyin birinchi yangilanishini joylashtiradi, chunki u Google Cloudda ishlaydi. 17:52. Cloudflare'ning WARP jamoasi yangi qurilmalarning ro'yxatdan o'ta olmaganini ko'radi. Workers KV, Cloudflare'ning yarmidan ko'pi konfiguratsiya va identifikatsiya uchun ishlatadigan do'kon, uchinchi tomon bulutida joylashgan. Access har bir kirishni rad etadi — dizayn bo'yicha u yopiq ishdan chiqadi.

1:20 Workers AI har bir xulosa chiqarishni rad etadi. 19:11, Gergely Orosz: bir vaqtning o'zida ikkita mustaqil bulut ishlamay qoldi, avval hech qachon ko'rilmagan. 19:32, Google qo'llab-quvvatlash xizmati foydalanuvchiga hech qanday ma'lum buzilishlar yo'qligini aytadi — kuting. Boshqa joylar 19:48 ga qadar tiklanadi.

us-central1: poda effekti

1:34 us-central1 esa tiklanmaydi: qayta ishga tushayotgan vazifalar bir xil Spanner jadvalini to'ldiradi, tasodifiy kechikish yo'q, shuning uchun Google ularni qo'lda cheklaydi. Ikki soat qirq. Bir: siyosat tekshiruvi so'rov yo'li ichida joylashgan; tekshiruv o'chsa,

Mexanizm: so'rov yo'lidagi tekshiruv, global replikatsiya, bitta yetkazib beruvchi

1:46 API o'ladi. Ikki: kvota ma'lumotlari sahnalashtirishsiz global bo'ladi; yomon qator global qator. Uch: Cloudflare bilgan. Workers KV o'zining R2 ga o'tkazilayotgan edi, bitta provayderga qadar — postmortem buni qamrovdagi bo'shliq deb ataydi.

git blame — bo'linish

2:00 git blame. Google, ellik besh foiz: null tekshiruv yo'q, xususiyat bayrog'i yo'q, kechikish yo'q — ularning hisobotida bayroq uni sahnalashtirishda aniqlagan bo'lardi deyiladi. Global replikatsiya, yigirma: bitta qator, har bir mintaqa, soniya. Cloudflare, yigirma: mahsulot qatorining yarmi bitta sotuvchining do'konida, va hech qachon Google deb aytilmagan postmortem. Holat sahifasi, besh, o'zi hisobot beradigan narsada yashaganligi uchun. Portlash radiusi: yetmish Google Cloud mahsuloti, o'n Workspace ilovasi,

Portlash radiusi

2:23 har bir mintaqa. Uch soat. Cloudflare'da: Access, WARP, Workers AI, Pages, Stream — ikki yarim. Hacker News, o'n to'rt yuz ball; eng yaxshi izoh: holat sahifasi yashil.

Hukm + dushanba liniyasi

2:33 Hukm, postmortem: SHIP IT. Ikkala postmortem ham o'ttiz soat ichida joylashtiriladi, ikkalasi ham o'zlarini ayblaydi, va Google'ning tuzatishlari aniq: ochiq ishdan chiqish, bayroqlar sukut bo'yicha o'chirilgan, eksponensial kechikish. Dushanba liniyasi: bayroq ortidagi yangi kod o'chirilib jo'natiladi, va ma'lumotlar keladigan joyda null tekshiruv. Hali gapirishga ruxsat berilmagan hodisani menga yuboring, izohlarda yoki the daily diff dot devda. Va bugungi farq shu.

2:53 Men Axrisi'dan Niko. Mas'uliyat bilan birlashtiring.

Manbalar

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Tegishli videolar