ביטוי רגולרי הפיל את Cloudflare. למשך 27 דקות.
2 ביולי 2019, 13:42 UTC: כלל חדש עבור Web Application Firewall של Cloudflare עולה לאוויר ביותר מ-180 ערים תוך כשתי שניות.
2 ביולי 2019, 13:42 UTC: כלל חדש עבור Web Application Firewall של Cloudflare עולה לאוויר ביותר מ-180 ערים תוך כשתי שניות. זהו כלל XSS במצב סימולציה, כך שהוא לא חוסם דבר, אך הוא עדיין פועל בכל בקשה, והוא מסתיים ב-.*(?:.*=.*). PCRE מבצע חזרה לאחור (backtrack), כל ליבת CPU המטפלת בבקשות HTTP מגיעה ל-100%, וכל אתר המתווך על ידי Cloudflare מחזיר 502 למשך 27 דקות; התעבורה צונחת ב-82%. מתג ההשבתה נמצא מאחורי Cloudflare Access, שנמצא מאחורי Cloudflare. לאחר מכן, מתוך הדו"ח של Cloudflare עצמה: מגן ה-CPU שהוסר שבועות קודם לכן בשינוי קוד שנועד לחסוך ב-CPU, הפרוצדורה שאפשרה לכל כלל לדלג על שלבי ביניים, המנוע ללא הבטחת מורכבות, 11 הגורמים ו-7 התיקונים. פסק הדין על התיקון: SHIP IT.
קראו את המהדורה הכתובה (אנגלית) ↗
מה מכסה הסרטון הזה
- 13:31–13:42 UTC: בקשת משיכה אוחדה, CI ירוק (ללא בדיקת CPU), Quicksilver דוחף את הכלל ליותר מ-180 ערים; כללי WAF מדלגים על שלבי DOG ← PIG ← Canary
- 13:45–14:07: העמוד הראשון; CPU ב-100% ברחבי העולם, תעבורה -82%, 502 בכל מקום; לוח הבקרה הפנימי נמצא מאחורי Cloudflare Access, שמושבת; חלק מהאישורים פגו; עקיפה שמעולם לא תורגלה לעיתים רחוקות
- 14:07–14:09: השבתת WAF גלובלית; תעבורה ו-CPU רגילים לאחר 27 דקות; 14:52 WAF חוזר פחות הכלל
- 2 ביולי (15:50 UTC) ו-12 ביולי: Cloudflare מפרסמת את ההודעה באותו יום ואת הדו"ח המלא; מגן CPU נוסף מחדש, 3,868 כללים נקראו מחדש, השקות מדורגות, מעבר למנוע ביטויים רגולריים בזמן ליניארי
שאלות ותשובות
איך ביטוי רגולרי אחד יכול להפיל רשת גלובלית?
ביטוי רגולרי עם חזרה לאחור בלתי מוגבלת יכול לקבע כל ליבת CPU שמפעילה אותו. לפי הדו"ח שלאחר האירוע של Cloudflare, כלל חומת אש חדש הסתיים ב-.*(?:.*=.*), PCRE ביצע חזרה לאחור דרך כל פיצול אחר, וה-CPU הגיע ל-100% בכל ליבה שטיפלה ב-HTTP. אתרים מאחורי Cloudflare החזירו שגיאות 502 למשך 27 דקות והתעבורה ירדה ב-82%.
מדוע כלל חומת אש במצב סימולציה עדיין גרם להשבתה?
מצב סימולציה מונע מכלל לחסום תעבורה, אך הכלל עדיין מוערך בכל בקשה. הכלל שאוחד ב-13:31 UTC ב-2 ביולי 2019 היה כלל סקריפטים חוצי אתרים במצב סימולציה, כך שהוא לא חסם דבר, אך הוא עדיין פעל בכל בקשה. הדו"ח שלאחר האירוע של Cloudflare אומר שעלות ההערכה שלו מיצתה את ה-CPU.
כיצד הגיע כלל אחד לכל מרכזי הנתונים של Cloudflare בשתי שניות?
כללי חומת אש דילגו על ההשקה המדורגת שמהדורות אחרות עברו. לפי הדו"ח שלאחר האירוע, ההליך אפשר לכל כלל לעבור לגלובלי בבת אחת מכיוון שכללים קיימים כדי לעצור מתקפות חיות. כלל זה לא היה מקרה חירום, ובכל זאת Quicksilver דחף אותו ליותר מ-180 ערים תוך כשתי שניות, ללא בדיקת CPU ב-CI שתתפוס אותו.
מדוע לקח ל-Cloudflare 27 דקות לכבות את רכיב חומת האש התקול?
לוח הבקרה הפנימי ישב מאחורי Cloudflare Access, שישב מאחורי Cloudflare, כך שההשבתה חסמה את הדרך למתג ההשבתה. חלק מהאישורים פגו מחוסר שימוש, ועקיפה שמעולם לא תורגלה לקחה כחמש דקות. השבתת ה-WAF הגלובלית הופעלה ב-14:07 UTC, והתעבורה חזרה לנורמלית ב-14:09.
האם צוותים צריכים לשמור מנועי ביטויים רגולריים עם חזרה לאחור בקוד נתיב הבקשה לאחר השבתת Cloudflare?
פסק הדין של The Daily Diff היה SHIP IT, עבור התיקון של Cloudflare. מגן ה-CPU שוחזר, 3,868 כללים נקראו מחדש, הכללים עוברים השקות מדורגות, והמנוע עובר לאחד עם הבטחות זמן ליניארי. העצה המעשית מהאירוע היא להימנע מתבניות כמו נקודה-כוכבית נקודה-כוכבית בכל דבר שרץ על כל בקשה ולשמור את מתג ההשבתה מחוץ למערכת שהוא שולט בה.
תמליל מתורגם
תורגם מהקריינות המקורית באנגלית. זמינות אודיו וכתוביות נשלטת על ידי YouTube.
0:00 ביטוי רגולרי אחד עולה לאוויר בכל שרת של Cloudflare בבת אחת, ולמשך עשרים ושבע הדקות הבאות האתרים שמאחוריו מציגים עמוד 502, שעבור חומת אש, זוהי ההגדרה המחמירה ביותר האפשרית. 2 ביולי 2019, 13:42 UTC. Cloudflare מפרסמת תוך שעתיים: לא מתקפה, פריסה שגויה, תעבורה ירדה ב-82 אחוז. עשרה ימים לאחר מכן CTO ג'ון גרהאם-קאמינג מפרסם את הדו"ח המלא, כולל הביטוי הרגולרי, ו-Hacker News נותן לו 698 נקודות,
0:26 שעבור תקלה זוהי מחיאות כפיים סוערות. איך זה קורה, למה זה אפשרי, ומי בעצם אשם. זהו The Daily Diff, לאחר מכן. 13:31. בקשת משיכה מתמזגת: כלל חומת אש חדש נגד סקריפטים חוצי אתרים, במצב סימולציה, כך שהוא לא חוסם דבר. 13:37, בדיקות עוברות; אף אחת לא מודדת CPU. 13:42, הכלל נשלח ל-180 ערים בשתי שניות, כי כללי WAF מדלגים על שלבי הכלב, החזיר והקנרית שמהדורות אחרות מקבלות.
0:54 13:45, העמוד הראשון. 13:49, ב-Hacker News יש דיון על עמוד הסטטוס, שעדיין אומר שכל המערכות פועלות. הכלל מסתיים בנקודה-כוכבית, נקודה-כוכבית, שווה, נקודה-כוכבית: כל דבר, ואז כל דבר, ואז סימן שווה. PCRE מנחש בחמדנות, נכשל, וחוזר לאחור דרך כל פיצול אחר. x שווה x לוקח 23 צעדים. עשרים איקסים אחרי השווה: 555.
1:15 עשרים איקסים, ללא סימן שווה: 4,067 צעדים כדי למצוא כלום. הרץ את זה בכל בקשה וכל ליבה תהיה במאה אחוז, לא עושה כלום, ביסודיות. שני שומרים היו אמורים לתפוס את זה. מגבלת ה-CPU על כללים הוסרה בטעות שבועות קודם לכן, בשינוי קוד שנועד לגרום ל-WAF להשתמש בפחות CPU. וההליך מאפשר לכל כלל לדלג על שלבי ביניים, מכיוון שכללים קיימים כדי לעצור מתקפות חיות; זה לא היה מקרה חירום, ובכל זאת הוא הפך גלובלי.
1:37 14:00, ה-WAF מזוהה; אין מתקפה. 14:02, מישהו מציע את ההשבתה הגלובלית: רכיב אחד, כבוי, ברחבי העולם. המתג נמצא מאחורי Cloudflare Access. Cloudflare Access נמצא מאחורי Cloudflare. חלק מהאישורים פגו מחוסר שימוש, כך שהרשת המהירה ביותר ב- אינטרנט מבלה חמש דקות בעקיפה שאף אחד לא תרגל. 14:07, כיבוי. 14:09, תעבורה רגילה. אשמת גיט: פריסה במהירות אחת, גלובלית; מגן CPU ששונה ב-
2:04 טעות; מנוע ביטויים רגולריים ללא גבול עליון. לא המהנדס שכתב את הכלל: הדו"ח שלאחר מכן מפרט אחד עשר גורמים ו- לא מציין אף אחד. רדיוס ההשפעה: 27 דקות, 82 אחוז מהתעבורה, 100 אחוז CPU בכל ליבה, בכל עיר. לוח המחוונים וה-API יושבים מאחורי אותו קצה, כך שלקוחות אינם יכולים אפילו לכבות את זה. Hacker News, מתחת לדו"ח שלאחר מכן: הייתה להם בעיה אחת, השתמשו בביטוי רגולרי, עכשיו יש להם שתיים. בדיחה ישנה. עדיין מתקמפלת.
2:28 פסק דין, לאחר מכן: SHIP IT. מגן ה-CPU חזר, כל 3,868 הכללים נקראים ידנית, הכללים עוברים שלבי ביניים, והמנוע עובר לאחד עם הבטחות זמן ליניארי, שפורסמו על ידי קן תומפסון ב-1968. יום שני: אין נקודה-כוכבית נקודה-כוכבית בשום דבר שרץ לכל בקשה, ושמור את מתג ההשבתה מחוץ לדבר שהוא משבית. שלח לי את האירוע שעדיין אסור לך לדבר עליו, בתגובות, או ב-daily diff dot dev.
2:53 וזה ה-diff להיום. אני ניקו מ-Axrisi. מזג באחריות.
מקורות
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



