+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud קרס בשדה ריק. שלוש שעות.

שורת מדיניות עם כמה שדות ריקים פגעה במצביע ריק, ו-Google Cloud קרס בכל האזורים בבת אחת — ואז Cloudflare נפלה יחד איתו.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

שורת מדיניות עם כמה שדות ריקים פגעה במצביע ריק, ו-Google Cloud קרס בכל האזורים בבת אחת — ואז Cloudflare נפלה יחד איתו. 12 ביוני 2025, 17:49 UTC: Service Control, הקובץ הבינארי שמאשר כל בקשת API של Google Cloud, קרא שינוי מדיניות מכסות עם "שדות ריקים לא מכוונים", פגע בנתיב קוד שנשלח שבועיים קודם לכן ללא בדיקת null וללא דגל תכונה, ונכנס ללולאת קריסה בכל אזור — השורה שוכפלה גלובלית תוך שניות. ממשקי API חיצוניים החזירו 503 למשך שלוש שעות; us-central1 לקח 2 שעות ו-40 דקות מכיוון שהמשימות שהופעלו מחדש הסתערו על אותה טבלת Spanner ללא השהיה אקראית. שלוש דקות לאחר הפסקת השירות של גוגל, Workers KV של Cloudflare — שמקור האמת שלה יושב על "ספקית ענן צד שלישי" — איבדה 90% מהבקשות, ו-Access, WARP, Workers AI, Pages, Stream ו-Turnstile קרסו יחד איתה למשך שעתיים ו-28 דקות. עמוד הסטטוס של גוגל פרסם את העדכון הראשון שלו באיחור של שעה, מכיוון שהוא פועל על Google Cloud.

קראו את המהדורה הכתובה (אנגלית) ↗

מה מכסה הסרטון הזה

  • שדה ריק, מצביע ריק, כל אזור
  • ציר זמן: 29 במאי ← 17:45 ← לולאת קריסה ← כפתור אדום ← 17:52 Cloudflare
  • us-central1: אפקט העדר
  • מנגנון: בדיקה בנתיב הבקשה, שכפול גלובלי, ספק יחיד
  • git blame — הפיצול

שאלות ותשובות

מה גרם להשבתת Google Cloud ב-12 ביוני 2025?

שורת מדיניות מכסה עם שדות ריקים גרמה לקריסת Service Control, הבינארי שמאשר כל בקשת API של Google Cloud. על פי דוח התקרית של גוגל, השורה פגעה בנתיב קוד ללא בדיקת null וללא דגל תכונה, והבינארי נכנס ללולאת קריסה בכל אזור. ממשקי API חיצוניים החזירו שגיאות 503 למשך כשלוש שעות.

צפה בחלק זה 0:32 · status.cloud.google.com

מדוע הפעלה מחדש של שירותים עלולה לגרום להשבתת ענן להימשך זמן רב יותר באזור אחד?

משימות רבות המופעלות מחדש בבת אחת עלולות להעמיס על אותה מסד נתונים משותף. ב-us-central1, משימות ההפעלה מחדש של גוגל הסתערו על טבלת Spanner אחת ללא השהיה אקראית, ולכן גוגל ריסנה אותן ידנית. לאזור זה לקח שעתיים וארבעים דקות להתאושש, בעוד שאזורים אחרים התאוששו עד 19:48.

צפה בחלק זה 1:32 · status.cloud.google.com

מדוע כשלו שירותי Cloudflare כש-Google Cloud הושבת?

Workers KV של Cloudflare שמר את מקור האמת שלו אצל ספק ענן צד שלישי. לפי Cloudflare, Workers KV איבד 90% מהבקשות, ו-Access, WARP, Workers AI, Pages, Stream ו-Turnstile קרסו יחד איתו למשך שעתיים ו-28 דקות. הפרק מציין כי Workers KV היה בעיצומה של העברה לאחסון R2 של Cloudflare עצמה.

צפה בחלק זה 1:43 · blog.cloudflare.com · www.cloudflarestatus.com

כיצד צוותים יכולים למנוע משורת תצורה שגויה לגרום לקריסת שירות בכל אזור?

שלוש פרקטיקות נובעות מתקרית זו. שמור קוד חדש מאחורי דגל תכונה שיוצא כבוי, בדוק אם קיימים ערכי null במקום שבו נתונים נכנסים, והצג נתוני מכסה בשלבים במקום לשכפל אותם גלובלית בבת אחת. דוח גוגל אומר שדגל היה תופס את הבאג בשלב ההצגה, והתיקונים שלו כוללים 'fail open' ו-'exponential backoff'.

צפה בחלק זה 1:43 · status.cloud.google.com

האם ניתוחי האירוע של Google Cloud ו-Cloudflare מ-12 ביוני מהווים דוגמה טובה לדוחות אירועים?

פסק הדין של The Daily Diff היה SHIP IT. שני ניתוחי האירוע פורסמו תוך שלושים שעות ושניהם האשימו את החברות שלהם. התיקונים של גוגל היו קונקרטיים, כלומר 'fail open', דגלים כבויים כברירת מחדל ו-'exponential backoff'. הלקח ליום שני הוא לשלוח קוד חדש מאחורי דגל שמתחיל כבוי.

צפה בחלק זה 2:33 · status.cloud.google.com · blog.cloudflare.com

תמליל מתורגם

תורגם מהקריינות המקורית באנגלית. זמינות אודיו וכתוביות נשלטת על ידי YouTube.

שדה ריק, מצביע ריק, כל אזור

0:00 שורת מדיניות עם שדות ריקים פוגעת במצביע ריק, ו-Google Cloud קורס ב- כל אזור בבת אחת — ו-Cloudflare נופלת יחד איתו, ואז קוראת לגוגל "ספק צד שלישי". 12 ביוני 2025, 17:49 UTC. הדו"ח של גוגל: Service Control, הקובץ הבינארי שמאשר כל בקשת API, בלולאת קריסה במשך שלוש שעות. של Cloudflare, באותו ערב: Workers KV, תשעים אחוז נכשלים, שעתיים עשרים ושמונה.

0:23 איך זה קרה, מדוע שדה ריק אחד הפך לגלובלי תוך שניות, ומי אשם. זהו The Daily Diff, פוסט-מורטם. 29 במאי. Service Control מקבל בדיקת מכסה חדשה, נשלחת אזור אחר אזור עם

ציר זמן: 29 במאי ← 17:45 ← לולאת קריסה ← כפתור אדום ← 17:52 Cloudflare

0:35 כפתור אדום — אבל נתיב הקוד החדש אף פעם לא רץ במהלך ההשקה; שום דבר לא מפעיל אותו עדיין. ללא בדיקת null. ללא דגל תכונה. 17:45. שינוי מדיניות עם שדות ריקים נוחת בטבלת Spanner. המכסה גלובלית, ולכן השורה משוכפלת בכל מקום תוך שניות. כל קובץ בינארי של Service Control קורא אותו, פוגע במצביע הריק, קורס, מופעל מחדש, קורא אותו שוב. כל קריאת API: 503.

0:55 גוגל מהירה: תאום תוך שתי דקות, שורש הבעיה תוך עשר. הכפתור האדום יוצא תוך ארבעים, ואזורים קטנים מתאוששים ראשונים. עמוד הסטטוס מפרסם את העדכון הראשון שלו אחרי שעה, כי הוא רץ על Google Cloud. 17:52. צוות WARP של Cloudflare רואה מכשירים חדשים שלא מצליחים להירשם. Workers KV, חצי מהחנות ש-Cloudflare משתמשת בה לתצורה וזהות, חי על ענן צד שלישי. Access נכשלת בכל כניסה — לפי העיצוב, היא נכשלת סגורה.

1:20 Workers AI נכשלת בכל היסק. 19:11, Gergely Orosz: שני עננים עצמאיים מושבתים בבת אחת, מעולם לא נראה קודם. 19:32, תמיכת גוגל אומרת למשתמש שאין שיבושים ידועים — נסה לנקות את העוגיות שלך. כל מקום אחר מתאושש עד 19:48.

us-central1: אפקט העדר

1:34 us-central1 לא: משימות המופעלות מחדש מסתערות על אותה טבלת Spanner, ללא השהיה אקראית, אז גוגל מגבילה אותן ידנית. שעתיים ארבעים. אחד: בדיקת המדיניות יושבת בתוך נתיב הבקשה; כשהבדיקה מתה,

מנגנון: בדיקה בנתיב הבקשה, שכפול גלובלי, ספק יחיד

1:46 ה-API מת. שתיים: נתוני מכסות הופכים גלובליים ללא בדיקת ביניים; שורה גרועה היא שורה גלובלית. שלוש: Cloudflare ידעה. Workers KV הייתה באמצע מעבר ל-R2 משלה, ירדה לספק יחיד — ה- פוסט-מורטם קורא לזה פער בכיסוי.

git blame — הפיצול

2:00 git blame. גוגל, חמישים וחמישה אחוז: ללא בדיקת null, ללא דגל תכונה, ללא השהיה — הדו"ח שלהם אומר שדגל היה תופס זאת בבדיקת ביניים. שכפול גלובלי, עשרים: שורה אחת, כל אזור, שניות. Cloudflare, עשרים: חצי מקו מוצרים בחנות של ספק אחד, ופוסט-מורטם שאף פעם לא אומר גוגל. עמוד הסטטוס, חמישה, על כך שהוא חי על מה שהוא מדווח עליו. רדיוס פגיעה: שבעים מוצרי Google Cloud, עשרה יישומי Workspace,

רדיוס פגיעה

2:23 כל אזור. שלוש שעות. ב-Cloudflare: Access, WARP, Workers AI, Pages, Stream — שתיים וחצי. Hacker News, ארבע עשרה מאות נקודות; תגובה מובילה: עמוד הסטטוס ירוק.

פסק דין + קו יום שני

2:33 פסק דין, פוסט-מורטם: SHIP IT. שני הפוסט-מורטמים נוחתים תוך שלושים שעות, שניהם מאשימים את עצמם, והתיקונים של גוגל קונקרטיים: fail open, דגלים כבויים כברירת מחדל, השהיה אקספוננציאלית. קו יום שני: קוד חדש מאחורי דגל שנשלח כבוי, ובדיקת null במקום שבו הנתונים נכנסים. שלח לי את האירוע שעדיין אסור לך לדבר עליו, בתגובות, או ב-the daily diff dot dev. וזה ה-diff להיום.

2:53 אני ניקו מ-Axrisi. REVERT באחריות.

מקורות

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

סרטונים קשורים