Google Cloud bo'sh maydonda ishdan chiqdi. Uch soat.

Bu video nimani qamrab oladi

• Bo'sh maydon, null pointer, har bir mintaqa
• Vaqt jadvali: 29-may → 17:45 → qulash sikli → qizil tugma → 17:52 Cloudflare
• us-central1: poda effekti
• Mexanizm: so'rov yo'lidagi tekshiruv, global replikatsiya, bitta yetkazib beruvchi
• git blame — bo'linish

Tarjima qilingan transkript

Asl inglizcha hikoyadan tarjima qilingan. Mavjud audio va subtitrlar YouTube tomonidan boshqariladi.

Bo'sh maydon, null pointer, har bir mintaqa

0:00 Bo'sh maydonli siyosat qatori null pointerga tushadi va Google Cloud bir vaqtning o'zida har bir mintaqada ishdan chiqadi — va Cloudflare ham u bilan ishdan chiqadi, keyin Google'ni "uchinchi tomon provayderi" deb ataydi. 2025-yil 12-iyun, 17:49 UTC. Google hisoboti: Service Control, har bir API so'rovini tasdiqlovchi ikkilik, uch soat davomida qulash aylanishida. Cloudflare'ning xuddi shu oqshom: Workers KV, to'qson foizi ishlamay qoldi, ikki soat yigirma sakkiz.

0:23 Qanday sodir bo'ldi, nega bitta bo'sh maydon bir necha soniya ichida global bo'ldi, va kim aybdor. Bu The Daily Diff, postmortem. 29-may. Service Control yangi kvota tekshiruvini oladi, mintaqa bo'yicha qizil tugma bilan

Vaqt jadvali: 29-may → 17:45 → qulash sikli → qizil tugma → 17:52 Cloudflare

0:35 jo'natilgan — lekin yangi kod yo'li ishga tushirish paytida hech qachon ishga tushmaydi; hech narsa uni hali ishga tushirmaydi. Null tekshiruv yo'q. Xususiyat bayrog'i yo'q. 17:45. Bo'sh maydonli siyosat o'zgarishi Spanner jadvaliga tushadi. Kvota global, shuning uchun qator bir necha soniya ichida hamma joyga takrorlanadi. Har bir Service Control ikkilik uni o'qiydi, null pointerga tushadi, ishdan chiqadi, qayta ishga tushadi, uni yana o'qiydi. Har bir API chaqirig'i: 503.

0:55 Google tez: ikki daqiqada triaj, o'n daqiqada asosiy sabab. Qizil tugma qirq daqiqada chiqadi va kichik mintaqalar birinchi bo'lib tiklanadi. Holat sahifasi bir soatdan keyin birinchi yangilanishini joylashtiradi, chunki u Google Cloudda ishlaydi. 17:52. Cloudflare'ning WARP jamoasi yangi qurilmalarning ro'yxatdan o'ta olmaganini ko'radi. Workers KV, Cloudflare'ning yarmidan ko'pi konfiguratsiya va identifikatsiya uchun ishlatadigan do'kon, uchinchi tomon bulutida joylashgan. Access har bir kirishni rad etadi — dizayn bo'yicha u yopiq ishdan chiqadi.

1:20 Workers AI har bir xulosa chiqarishni rad etadi. 19:11, Gergely Orosz: bir vaqtning o'zida ikkita mustaqil bulut ishlamay qoldi, avval hech qachon ko'rilmagan. 19:32, Google qo'llab-quvvatlash xizmati foydalanuvchiga hech qanday ma'lum buzilishlar yo'qligini aytadi — kuting. Boshqa joylar 19:48 ga qadar tiklanadi.

us-central1: poda effekti

1:34 us-central1 esa tiklanmaydi: qayta ishga tushayotgan vazifalar bir xil Spanner jadvalini to'ldiradi, tasodifiy kechikish yo'q, shuning uchun Google ularni qo'lda cheklaydi. Ikki soat qirq. Bir: siyosat tekshiruvi so'rov yo'li ichida joylashgan; tekshiruv o'chsa,

Mexanizm: so'rov yo'lidagi tekshiruv, global replikatsiya, bitta yetkazib beruvchi

1:46 API o'ladi. Ikki: kvota ma'lumotlari sahnalashtirishsiz global bo'ladi; yomon qator global qator. Uch: Cloudflare bilgan. Workers KV o'zining R2 ga o'tkazilayotgan edi, bitta provayderga qadar — postmortem buni qamrovdagi bo'shliq deb ataydi.

git blame — bo'linish

2:00 git blame. Google, ellik besh foiz: null tekshiruv yo'q, xususiyat bayrog'i yo'q, kechikish yo'q — ularning hisobotida bayroq uni sahnalashtirishda aniqlagan bo'lardi deyiladi. Global replikatsiya, yigirma: bitta qator, har bir mintaqa, soniya. Cloudflare, yigirma: mahsulot qatorining yarmi bitta sotuvchining do'konida, va hech qachon Google deb aytilmagan postmortem. Holat sahifasi, besh, o'zi hisobot beradigan narsada yashaganligi uchun. Portlash radiusi: yetmish Google Cloud mahsuloti, o'n Workspace ilovasi,

Portlash radiusi

2:23 har bir mintaqa. Uch soat. Cloudflare'da: Access, WARP, Workers AI, Pages, Stream — ikki yarim. Hacker News, o'n to'rt yuz ball; eng yaxshi izoh: holat sahifasi yashil.

Hukm + dushanba liniyasi

2:33 Hukm, postmortem: SHIP IT. Ikkala postmortem ham o'ttiz soat ichida joylashtiriladi, ikkalasi ham o'zlarini ayblaydi, va Google'ning tuzatishlari aniq: ochiq ishdan chiqish, bayroqlar sukut bo'yicha o'chirilgan, eksponensial kechikish. Dushanba liniyasi: bayroq ortidagi yangi kod o'chirilib jo'natiladi, va ma'lumotlar keladigan joyda null tekshiruv. Hali gapirishga ruxsat berilmagan hodisani menga yuboring, izohlarda yoki the daily diff dot devda. Va bugungi farq shu.

2:53 Men Axrisi'dan Niko. Mas'uliyat bilan birlashtiring.

Manbalar

1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com