Google Cloud ცარიელ ველზე გაითიშა. სამი საათი.

რას მოიცავს ეს ვიდეო

• ცარიელი ველი, null მაჩვენებელი, ყველა რეგიონი
• ქრონოლოგია: 29 მაისი → 17:45 → ავარიის ციკლი → წითელი ღილაკი → 17:52 Cloudflare
• us-central1: ნახირის ეფექტი
• მექანიზმი: შემოწმება მოთხოვნის გზაზე, გლობალური რეპლიკაცია, ერთი გამყიდველი
• git blame — გაყოფა

ნათარგმნი ტრანსკრიპტი

ნათარგმნია ორიგინალური ინგლისური ნარატივიდან. ხელმისაწვდომი აუდიო და სუბტიტრები კონტროლდება YouTube-ის მიერ.

ცარიელი ველი, null მაჩვენებელი, ყველა რეგიონი

0:00 პოლიტიკის სტრიქონი ცარიელი ველებით null მაჩვენებელზე ხვდება და Google Cloud ითიშება ერთდროულად ყველა რეგიონში — და Cloudflare-იც მასთან ერთად იშლება, შემდეგ Google-ს უწოდებს „მესამე მხარის პროვაიდერს“. 2025 წლის 12 ივნისი, 17:49 UTC. Google-ის ანგარიში: Service Control, ბინარული ფაილი, რომელიც ამტკიცებს ყველა API მოთხოვნას, სამი საათის განმავლობაში ავარიის ციკლში. Cloudflare-ის, იმავე საღამოს: Workers KV, ოთხმოცდაათი პროცენტი ვერ ხერხდება, ორი საათი ოცდარვა.

0:23 როგორ მოხდა, რატომ გახდა ერთი ცარიელი ველი გლობალური წამებში, და ვინ არის დამნაშავე. ეს არის The Daily Diff, პოსტმოკვდავი. 29 მაისი. Service Control იღებს ახალ კვოტის შემოწმებას, გაგზავნილი რეგიონი რეგიონის მიხედვით

ქრონოლოგია: 29 მაისი → 17:45 → ავარიის ციკლი → წითელი ღილაკი → 17:52 Cloudflare

0:35 წითელი ღილაკით — მაგრამ ახალი კოდის გზა არასოდეს მუშაობს გაშვებისას; არაფერი ააქტიურებს მას ჯერ. Null შემოწმების გარეშე. ფუნქციის დროშის გარეშე. 17:45. პოლიტიკის ცვლილება ცარიელი ველებით ხვდება Spanner ცხრილში. კვოტა გლობალურია, ამიტომ სტრიქონი ყველგან ვრცელდება წამებში. ყველა Service Control ბინარული ფაილი კითხულობს მას, ხვდება null მაჩვენებელს, იშლება, გადაიტვირთება, ისევ კითხულობს მას. ყოველი API ზარი: 503.

0:55 Google სწრაფია: სორტირება ორ წუთში, ძირეული მიზეზი ათში. წითელი ღილაკი გამორთულია ორმოცი წუთში, და პატარა რეგიონები პირველად აღდგება. სტატუსის გვერდი თავის პირველ განახლებას ერთი საათის შემდეგ აქვეყნებს, რადგან ის Google Cloud-ზე მუშაობს. 17:52. Cloudflare-ის WARP გუნდი ხედავს, რომ ახალი მოწყობილობები ვერ რეგისტრირდება. Workers KV, Cloudflare-ის კონფიგურაციისა და იდენტობისთვის გამოყენებული მაღაზიის ნახევარი, მესამე მხარის ღრუბელზე ცხოვრობს. Access ვერ ახერხებს ყოველ შესვლას — დიზაინის მიხედვით, ის დახურულად იშლება.

1:20 Workers AI ვერ ახერხებს ყოველ დასკვნას. 19:11, გერგელი ოროსცი: ერთდროულად ორი დამოუკიდებელი ღრუბელი ითიშება, არასოდეს ყოფილა ნანახი. 19:32, Google-ის მხარდაჭერა ეუბნება მომხმარებელს, რომ ცნობილი შეფერხებები არ არის — სცადეთ გაწმინდოთ თქვენი ქუქიები. ყველგან სხვაგან აღდგება 19:48-ისთვის.

us-central1: ნახირის ეფექტი

1:34 us-central1 არ აღდგება: გადატვირთვის ამოცანები იმავე Spanner ცხრილს ეჯახება, შემთხვევითი შეყოვნების გარეშე, ამიტომ Google მათ ხელით თრგუნავს. ორი საათი ორმოცი. ერთი: პოლიტიკის შემოწმება მდებარეობს მოთხოვნის გზაში; როდესაც შემოწმება კვდება,

მექანიზმი: შემოწმება მოთხოვნის გზაზე, გლობალური რეპლიკაცია, ერთი გამყიდველი

1:46 API კვდება. ორი: კვოტის მონაცემები გლობალური ხდება სტაჟირების გარეშე; ცუდი სტრიქონი გლობალური სტრიქონია. სამი: Cloudflare-მ იცოდა. Workers KV მიგრირდებოდა საკუთარ R2-ზე, ერთ პროვაიდერზე — პოსტმოკვდავი მას უწოდებს დაფარვის ხარვეზს.

git blame — გაყოფა

2:00 git blame. Google, ორმოცდათხუთმეტი პროცენტი: null შემოწმების გარეშე, ფუნქციის დროშის გარეშე, უკან დაბრუნების გარეშე — მათი ანგარიში ამბობს, რომ დროშა მას სტაჟირებისას დაიჭერდა. გლობალური რეპლიკაცია, ოცი: ერთი სტრიქონი, ყველა რეგიონი, წამები. Cloudflare, ოცი: პროდუქტის ხაზის ნახევარი ერთი გამყიდველის მაღაზიაზე, და პოსტმოკვდავი, რომელიც არასოდეს ამბობს Google-ს. სტატუსის გვერდი, ხუთი, იმაზე ცხოვრებისთვის, რაზეც ის აცნობებს. აფეთქების რადიუსი: სამოცდაათი Google Cloud პროდუქტი, ათი Workspace აპლიკაცია,

აფეთქების რადიუსი

2:23 ყველა რეგიონი. სამი საათი. Cloudflare-ზე: Access, WARP, Workers AI, Pages, Stream — ორნახევარი. Hacker News, ათას ოთხასი ქულა; მთავარი კომენტარი: სტატუსის გვერდი მწვანეა.

განაჩენი + ორშაბათის ხაზი

2:33 ვერდიქტი, პოსტმოკვდავი: SHIP IT. ორივე პოსტმოკვდავი ოცდაათი საათის განმავლობაში ხვდება, ორივე საკუთარ თავს ადანაშაულებს, და Google-ის გამოსწორებები კონკრეტულია: fail open, დროშები ნაგულისხმევად გამორთულია, ექსპონენციალური შეყოვნება. ორშაბათის ხაზი: ახალი კოდი დროშის უკან, რომელიც იგზავნება გამორთული, და null შემოწმება იქ, სადაც მონაცემები შემოდის. გამომიგზავნეთ ინციდენტი, რომელზეც ჯერ კიდევ არ გაქვთ საუბრის უფლება, კომენტარებში, ან daily diff dot dev-ზე. და ეს არის დღევანდელი განსხვავება.

2:53 მე ნიკო ვარ Axrisi-დან. პასუხისმგებლობით გაერთიანება.

წყაროები

1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com