Google Cloud хоосон талбараас болж унав. Гурван цаг.

Энэ видео юуг хамардаг

• Хоосон талбар, null заагч, бүх бүс нутаг
• Хугацаа: 5-р сарын 29 → 17:45 → алдааны давталт → улаан товч → 17:52 Cloudflare
• us-central1: сүргийн эффект
• Механизм: хүсэлтийн замд шалгах, дэлхийн хэмжээнд хуулбарлах, нэг ханган нийлүүлэгч
• git blame — хуваагдал

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

Хоосон талбар, null заагч, бүх бүс нутаг

0:00 Хоосон талбаруудтай бодлогын мөр null заагчийг онож, Google Cloud унасан бүх бүс нутагт нэгэн зэрэг — мөн Cloudflare үүнтэй хамт унасан, дараа нь Google-ийг "гуравдагч этгээдийн үйлчилгээ үзүүлэгч" гэж нэрлэсэн. 2025 оны 6-р сарын 12, 17:49 UTC. Google-ийн тайлан: Service Control, бүх API хүсэлтийг зөвшөөрдөг бинар, гурван цагийн турш алдааны давталтанд. Cloudflare-ийнх, тэр орой: Workers KV, ерэн хувь нь бүтэлгүйтсэн, хоёр цаг хорин найман.

0:23 Яаж болсон, яагаад нэг хоосон талбар хэдхэн секундын дотор дэлхийг хамарсан, мөн хэн буруутай. Энэ бол The Daily Diff, постмортэм. 5-р сарын 29. Service Control шинэ квотын шалгалтыг авсан, бүс нутаг бүрээр нэг

Хугацаа: 5-р сарын 29 → 17:45 → алдааны давталт → улаан товч → 17:52 Cloudflare

0:35 улаан товчлууртай — гэхдээ шинэ кодын зам суулгалтын үед хэзээ ч ажиллаагүй; юу ч идэвхжүүлээгүй одоохондоо. Null шалгалт байхгүй. Онцлог тэмдэг байхгүй. 17:45. Хоосон талбаруудтай бодлогын өөрчлөлт Spanner хүснэгтэд орсон. Квот нь дэлхийн хэмжээний тул, уг мөр хэдхэн секундын дотор хаа сайгүй хуулбарлагдсан. Бүх Service Control бинар үүнийг уншиж, null заагчийг онож, унаж, дахин эхэлж, дахин уншсан. Бүх API дуудлага: 503.

0:55 Google хурдан: хоёр минутын дотор анхан шатны үнэлгээ, аравт үндсэн шалтгаан. Улаан товч дөчин минутын дараа гарч, жижиг бүсүүд эхлээд сэргэсэн. Статусын хуудас эхний шинэчлэлтийг нэг цагийн дараа нийтэлсэн, учир нь энэ нь Google Cloud дээр ажилладаг. 17:52. Cloudflare-ийн WARP баг шинэ төхөөрөмжүүд бүртгүүлж чадахгүй байгааг харсан. Workers KV, Cloudflare-ийн тал хувь нь тохиргоо болон таних үйлчилгээнд ашигладаг сан, гуравдагч этгээдийн үүлэн дээр байрладаг. Access бүх нэвтрэлтийг бүтэлгүйтүүлсэн — зориулалтын дагуу, энэ нь хаалттай бүтэлгүйтдэг.

1:20 Workers AI бүх дүгнэлтийг бүтэлгүйтүүлсэн. 19:11, Gergely Orosz: хоёр бие даасан үүлэн үйлчилгээ нэгэн зэрэг унасан, өмнө нь хэзээ ч харагдаж байгаагүй. 19:32, Google-ийн дэмжлэг үйлчилгээ хэрэглэгчид мэдэгдэж байгаа тасалдал байхгүй гэж хэлсэн — цэвэрлэхийг оролдоно уу таны күүкийг. Бусад бүх газар 19:48 гэхэд сэргэсэн.

us-central1: сүргийн эффект

1:34 us-central1 үгүй: дахин эхлүүлж буй даалгаврууд ижил Spanner хүснэгтийг булаацалдсан, санамсаргүй хойшлуулалт байхгүй тул, Google тэднийг гараар хязгаарласан. Хоёр цаг дөчин. Нэг: бодлогын шалгалт хүсэлтийн зам дотор байрладаг; шалгалт унахад,

Механизм: хүсэлтийн замд шалгах, дэлхийн хэмжээнд хуулбарлах, нэг ханган нийлүүлэгч

1:46 API унадаг. Хоёр: квотын өгөгдөл дамжуулалтгүйгээр дэлхийг хамардаг; муу мөр бол дэлхийн хэмжээний мөр. Гурван: Cloudflare мэдэж байсан. Workers KV нь өөрийн R2 руу шилжих үедээ байсан, нэг үйлчилгээ үзүүлэгч рүү шилжсэн — постмортэм үүнийг хамрах хүрээний цоорхой гэж нэрлэсэн.

git blame — хуваагдал

2:00 git blame. Google, тавин таван хувь: null шалгалт байхгүй, онцлог тэмдэг байхгүй, хойшлуулалт байхгүй — тэдний тайланд онцлог тэмдэг байсан бол дамжуулалтын үед илрүүлэх байсан гэж дурдсан. Дэлхийн хэмжээнд хуулбарлах, хорин хувь: нэг мөр, бүх бүс нутаг, секундын дотор. Cloudflare, хорин хувь: бүтээгдэхүүний шугамын тал хувь нь нэг үйлдвэрлэгчийн дэлгүүрт, мөн Google гэж хэзээ ч хэлээгүй постмортэм. Статусын хуудас, таван хувь, өөрийн тайлагнаж буй зүйл дээрээ ажилласныхаа төлөө. Нөлөөллийн хэмжээ: далан Google Cloud бүтээгдэхүүн, арван Workspace програм,

Нөлөөллийн хэмжээ

2:23 бүх бүс нутаг. Гурван цаг. Cloudflare дээр: Access, WARP, Workers AI, Pages, Stream — хоёр ба хагас. Hacker News, арван дөрвөн зуун оноо; шилдэг сэтгэгдэл: статусын хуудас ногоон байна.

Шийдвэр + Даваа гарагийн шугам

2:33 Шийдвэр, постмортэм: SHIP IT. Хоёр постмортэм хорин гурван цагийн дотор гарсан, хоёулаа өөрсдийгөө буруутгасан, мөн Google-ийн засварууд тодорхой: нээлттэй бүтэлгүйтэх, тэмдэглэгээ анхдагчаар унтраалттай, экспоненциал хойшлуулалт. Даваа гарагийн шугам: тэмдэглэгээний ард шинэ код илгээгдсэн, мөн өгөгдөл ирдэг газарт null шалгалт. Таны ярихыг зөвшөөрөөгүй байгаа үйл явдлыг надад илгээнэ үү, сэтгэгдэл хэсэгт, эсвэл the daily diff dot dev хаягаар. Энэ бол өнөөдрийн diff.

2:53 Би Axrisi-ийн Нико байна. Хариуцлагатай нэгтгээрэй.

Эх сурвалжууд

1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com