+− THE DAILY DIFFdev & AI news
SHIP IT

რეგულარულმა გამოსახულებამ Cloudflare გათიშა. 27 წუთით.

2019 წლის 2 ივლისი, 13:42 UTC: Cloudflare-ის ვებ აპლიკაციის firewall-ის ერთი ახალი წესი ამოქმედდა 180-ზე მეტ ქალაქში დაახლოებით ორ წამში.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2019 წლის 2 ივლისი, 13:42 UTC: Cloudflare-ის ვებ აპლიკაციის firewall-ის ერთი ახალი წესი ამოქმედდა 180-ზე მეტ ქალაქში დაახლოებით ორ წამში. ეს არის XSS წესი სიმულაციის რეჟიმში, ამიტომ არაფერს ბლოკავს, მაგრამ მაინც მუშაობს ყოველ მოთხოვნაზე და მთავრდება .*(?:.*=.*)-ით. PCRE უკან იხევს, HTTP-ს მომსახურე ყველა CPU ბირთვი 100%-ს აღწევს, და Cloudflare-ის მიერ პროქსირებული ყველა საიტი 27 წუთის განმავლობაში 502-ს აბრუნებს; ტრაფიკი 82%-ით ეცემა. გამომრთველი Cloudflare Access-ის უკან დგას, რომელიც თავის მხრივ Cloudflare-ის უკან დგას. პოსტმორტემი, Cloudflare-ის საკუთარი აღწერიდან: CPU დაცვა ამოღებულია კვირით ადრე რეფაქტორინგისას, რომელიც CPU-ს დაზოგვას ისახავდა მიზნად, პროცედურა, რომელიც ნებისმიერ წესს აძლევდა საშუალებას გამოეტოვებინა სტეიჯინგი, ძრავა სირთულის გარანტიის გარეშე, 11 მიზეზი და 7 გამოსწორება. გამოსწორების ვერდიქტი: SHIP IT.

წაიკითხეთ წერილობითი გამოცემა (ინგლისური) ↗

რას მოიცავს ეს ვიდეო

  • 13:31–13:42 UTC: PR შერწყმულია, CI მწვანე (CPU ტესტის გარეშე), Quicksilver აგზავნის წესს 180+ ქალაქში; WAF წესები გამოტოვებს DOG → PIG → Canary ეტაპებს
  • 13:45–14:07: პირველი გვერდი; CPU 100% მთელ მსოფლიოში, ტრაფიკი −82%, 502 შეცდომები ყველგან; შიდა მართვის პანელი Cloudflare Access-ის უკან არის, რომელიც არ მუშაობს; ზოგიერთი სერტიფიკატი ვადაგასულია; იშვიათად გამოყენებული შემოვლითი გზა
  • 14:07–14:09: გლობალური WAF გათიშვა; ტრაფიკი და CPU ნორმალიზდება 27 წუთის შემდეგ; 14:52 WAF დაბრუნდა წესის გარეშე
  • 2 ივლისი (15:50 UTC) და 12 ივლისი: Cloudflare აქვეყნებს იმავე დღის ჩანაწერს და სრულ პოსტმორტემს; CPU დაცვა ხელახლა დაემატა, 3,868 წესი ხელახლა იქნა წაკითხული, ეტაპობრივი გამოშვებები, გადასვლა წრფივი დროის რეგულარული გამოსახულების ძრავზე

კითხვები და პასუხები

როგორ შეიძლება ერთმა რეგულარულმა გამოსახულებამ გათიშოს გლობალური ქსელი?

რეგულარულ გამოსახულებას შეუზღუდავი უკანდახევით შეუძლია დაბლოკოს ყოველი CPU ბირთვი, რომელიც მას აფასებს. Cloudflare-ის პოსტმორტემის მიხედვით, ახალი firewall წესი მთავრდებოდა .*(?:.*=.*)-ით, PCRE უკან იხევდა ყოველი სხვა გაყოფის გავლით, და CPU 100%-ს აღწევდა ყოველ ბირთვზე, რომელიც HTTP-ს ემსახურებოდა. Cloudflare-ის უკან არსებული საიტები 27 წუთის განმავლობაში აბრუნებდნენ 502 შეცდომებს და ტრაფიკი 82%-ით დაეცა.

blog.cloudflare.com · blog.cloudflare.com

რატომ გამოიწვია სიმულაციის რეჟიმში არსებულმა firewall წესმა გათიშვა?

სიმულაციის რეჟიმი აჩერებს წესს ტრაფიკის დაბლოკვისგან, მაგრამ წესი მაინც ფასდება ყოველ მოთხოვნაზე. 2019 წლის 2 ივლისს 13:31 UTC-ზე გაერთიანებული წესი იყო ჯვარედინი საიტის სკრიპტინგის წესი სიმულაციის რეჟიმში, ამიტომ არაფერს ბლოკავდა, მაგრამ მაინც მუშაობდა ყოველ მოთხოვნაზე. Cloudflare-ის პოსტმორტემი ამბობს, რომ მისი შეფასების ღირებულებამ ამოწურა CPU.

blog.cloudflare.com

როგორ მიაღწია ერთმა წესმა Cloudflare-ის ყველა მონაცემთა ცენტრს ორ წამში?

Firewall წესებმა გამოტოვეს ეტაპობრივი გაშვება, რომელსაც სხვა გამოშვებები გადიოდნენ. პოსტმორტემის მიხედვით, პროცედურა საშუალებას აძლევდა ნებისმიერ წესს ერთდროულად გამხდარიყო გლობალური, რადგან წესები არსებობს ცოცხალი შეტევების შესაჩერებლად. ეს წესი არ იყო საგანგებო სიტუაცია, და Quicksilver-მა მაინც გაგზავნა იგი 180-ზე მეტ ქალაქში დაახლოებით ორ წამში, CI-ში CPU ტესტის გარეშე, რომ დაეჭირა.

blog.cloudflare.com · blog.cloudflare.com

რატომ დასჭირდა Cloudflare-ს 27 წუთი, რომ გამორთო გაუმართავი firewall კომპონენტი?

შიდა მართვის პანელი Cloudflare Access-ის უკან იჯდა, რომელიც თავის მხრივ Cloudflare-ის უკან იჯდა, ამიტომ გათიშვამ გადაკეტა გზა გამომრთველისკენ. ზოგიერთი სერტიფიკატი ვადაგასული იყო გამოუყენებლობის გამო, და შემოვლით გზას, რომელიც იშვიათად გამოიყენებოდა, დაახლოებით ხუთი წუთი დასჭირდა. გლობალური WAF გათიშვა განხორციელდა 14:07 UTC-ზე, და ტრაფიკი კვლავ ნორმალური იყო 14:09-ზე.

blog.cloudflare.com · x.com

უნდა შეინარჩუნონ თუ არა გუნდებმა რეგულარული გამოსახულების ძრავები უკანდახევით მოთხოვნის ბილიკის კოდში Cloudflare-ის გათიშვის შემდეგ?

The Daily Diff-ის ვერდიქტი იყო SHIP IT, Cloudflare-ის გამოსწორებისთვის. CPU დაცვა აღდგა, 3,868 წესი ხელახლა იქნა წაკითხული, წესები გადის ეტაპობრივი გაშვების გავლით, და ძრავა გადადის ისეთზე, რომელსაც აქვს წრფივი დროის გარანტიები. ეპიზოდის პრაქტიკული რჩევაა თავიდან იქნას აცილებული ისეთი ნიმუშები, როგორიცაა წერტილი-ვარსკვლავი წერტილი-ვარსკვლავი ნებისმიერ რამეში, რაც ყოველ მოთხოვნაზე მუშაობს და გამომრთველი შეინახოს სისტემისგან მოშორებით, რომელსაც ის აკონტროლებს.

blog.cloudflare.com

ნათარგმნი ტრანსკრიპტი

ნათარგმნია ორიგინალური ინგლისური ნარატივიდან. ხელმისაწვდომი აუდიო და სუბტიტრები კონტროლდება YouTube-ის მიერ.

0:00 ერთი რეგულარული გამოსახულება ერთდროულად ცოცხლდება ყველა Cloudflare სერვერზე, და მომდევნო ოცდაშვიდი წუთის განმავლობაში მის უკან არსებული საიტები არის 502 გვერდი, რაც, firewall-ისთვის, არის უმკაცრესი შესაძლო პარამეტრი. 2019 წლის 2 ივლისი, 13:42 UTC. Cloudflare აქვეყნებს ორ საათში: არა შეტევა, არამედ ცუდი განლაგება, ტრაფიკი შემცირდა 82 პროცენტით. ათი დღის შემდეგ ტექნიკური დირექტორი ჯონ გრეჰემ-კამინგი აქვეყნებს სრულ პოსტმორტემს, რეგულარული გამოსახულება შედის, და Hacker News აძლევს 698 ქულას,

0:26 რაც გათიშვისთვის ოვაციებია. როგორ ხდება, რატომ არის შესაძლებელი და ვინ იღებს რეალურად ბრალს. ეს არის The Daily Diff, პოსტმორტემი. 13:31. Pull request გაერთიანდა: ერთი ახალი firewall წესი ჯვარედინი საიტის სკრიპტინგის წინააღმდეგ, სიმულაციის რეჟიმში, ამიტომ არაფერს ბლოკავს. 13:37, ტესტები წარმატებით გავიდა; არცერთი არ ზომავს CPU-ს. 13:42, წესი გაიგზავნა 180 ქალაქში ორ წამში, რადგან WAF წესები გამოტოვებს ძაღლის, ღორის და კანარის ეტაპებს, რომლებსაც სხვა გამოშვებები გადიან.

0:54 13:45, პირველი გვერდი. 13:49, Hacker News-ს აქვს სტატია სტატუსის გვერდზე, რომელიც კვლავ ამბობს, რომ ყველა სისტემა მუშაობს. წესი მთავრდება წერტილი-ვარსკვლავით, წერტილი-ვარსკვლავით, ტოლობის ნიშნით, წერტილი-ვარსკვლავით: რაც არ უნდა იყოს, შემდეგ რაც არ უნდა იყოს, შემდეგ ტოლობის ნიშანი. PCRE ხარბად გამოიცნობს, ვერ ხერხდება და უკან იხევს ყველა სხვა გაყოფის გავლით. x უდრის x-ს სჭირდება 23 ნაბიჯი. ოცი x ტოლობის ნიშნის შემდეგ: 555.

1:15 ოცი x, ტოლობის ნიშნის გარეშე: 4,067 ნაბიჯი არაფრის მოსაძებნად. გაუშვით ეს ყოველ მოთხოვნაზე და ყოველი ბირთვი ას პროცენტზეა, არაფერს აკეთებს, საფუძვლიანად. ორ მცველს უნდა დაეჭირა. CPU ლიმიტი წესებზე შეცდომით მოიხსნა კვირით ადრე, რეფაქტორინგისას, რომელიც WAF-ის CPU მოხმარების შემცირებას ისახავდა მიზნად. და პროცედურა საშუალებას აძლევს ნებისმიერ წესს გამოტოვოს სტეიჯინგი, რადგან წესები არსებობს ცოცხალი შეტევების შესაჩერებლად; ეს არ იყო საგანგებო სიტუაცია, და მაინც გლობალურად გავრცელდა.

1:37 14:00, WAF იდენტიფიცირებულია; არა შეტევა. 14:02, ვიღაც გვთავაზობს გლობალურ გათიშვას: ერთი კომპონენტი, გათიშვა, მთელ მსოფლიოში. გადამრთველი Cloudflare Access-ის უკან არის. Cloudflare Access Cloudflare-ის უკან არის. ზოგიერთი სერტიფიკატი ვადაგასულია გამოუყენებლობის გამო, ამიტომ ინტერნეტის უსწრაფესი ქსელი ხუთ წუთს ხარჯავს შემოვლით გზაზე, რომელიც არავის გაუვლია. 14:07, გათიშვა. 14:09, ტრაფიკი ნორმალურია. git blame: გაშვება ერთი სიჩქარით, გლობალური; CPU დაცვა შემთხვევით რეფაქტორინგის შედეგად გაუქმდა;

2:04 რეგულარული გამოსახულების ძრავა ზედა ზღვრის გარეშე. არა ის ინჟინერი, ვინც დაწერა წესი: პოსტმორტემი ჩამოთვლის თერთმეტ მიზეზს და არავის ასახელებს. გავრცელების არეალი: 27 წუთი, ტრაფიკის 82 პროცენტი, 100 პროცენტი CPU ყოველ ბირთვზე, ყველა ქალაქში. პანელი და API იმავე კიდეზეა, ამიტომ მომხმარებლებს არც შეუძლიათ გამორთვა. Hacker News, პოსტმორტემის ქვეშ: მათ ჰქონდათ ერთი პრობლემა, გამოიყენეს რეგულარული გამოსახულება, ახლა აქვთ ორი. ძველი ხუმრობა. მაინც კომპილირდება.

2:28 ვერდიქტი, პოსტმორტემი: SHIP IT. CPU დაცვა დაბრუნდა, ყველა 3,868 წესი ხელახლა იკითხება ხელით, წესები გადის სტეიჯინგის გავლით, და ძრავა გადადის ისეთზე, რომელსაც აქვს წრფივი დროის გარანტიები, გამოქვეყნებული კენ ტომპსონის მიერ 1968 წელს. ორშაბათი: არცერთი წერტილი-ვარსკვლავი წერტილი-ვარსკვლავი არაფერში, რაც ყოველ მოთხოვნაზე მუშაობს, და შეინახეთ გამომრთველი იმ სისტემისგან მოშორებით, რომელსაც ის თიშავს. გამომიგზავნეთ ინციდენტი, რომელზეც ჯერ კიდევ არ გაქვთ საუბრის უფლება, კომენტარებში, ან daily diff dot dev-ზე.

2:53 და ეს არის დღევანდელი განსხვავება. მე ნიკო ვარ Axrisi-დან. შეერწყა პასუხისმგებლობით.

წყაროები

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

მსგავსი ვიდეოები

postmortem · ka · 19 სექ. 2026

Google Cloud ცარიელ ველზე გაითიშა. სამი საათი.

პოლიტიკის სტრიქონი რამდენიმე ცარიელი ველით null მაჩვენებელზე ხვდება და Google Cloud ერთდროულად ყველა რეგიონში ითიშება — შემდეგ Cloudflare-იც მასთან ერთად იშლება. 2025 წლის 12 ივნისი, 17:49 UTC: Servic

2:57 ↗
postmortem · ka · 16 სექ. 2026

ფეისბუქმა ინტერნეტიდან წაშალა საკუთარი თავი. ექვსი საათი.

ფეისბუქი ინტერნეტიდან საკუთარ მისამართს შლის და როცა მისი ინჟინრები მის აღსადგენად მიდიან, სამკერდე ნიშნის წამკითხველიც არ მუშაობს, რადგან ისინი ფეისბუქზე მუშაობენ. 2021 წლის 4 ოქტომბერი, 15:40 UTC: ხ

3:01 ↗
postmortem · ka · 25 სექ. 2026

ერთმილიწამიანმა ხარვეზმა შეაჩერა გაერთიანებული სამეფოს საჰაერო მოძრაობა. ექვსი საათი.

სამშაბათს, 8 სექტემბერს, 10:00 საათზე, NATS-ის ეროვნული საჰაერო სივრცის სისტემაში (NAS) squawk-კოდის ერთ რუტინულ მოთხოვნას აწყვეტინებს უფრო მაღალი პრიორიტეტის შეტყობინება, სანამ ის მნიშვნელობის განახლ

3:06 ↗
postmortem · ka · 22 სექ. 2026

გადატვირთვამ Telstra 2006 წელში დააბრუნა. ცხრა მილიონი ტელეფონი.

მელბურნელმა ინჟინერმა დილის 2:50 საათზე ჩართო ქრონომეტრაჟის შასი, და საუზმისთვის ავსტრალიის უდიდესმა მობილურმა ქსელმა დაასკვნა, რომ ეს იყო 2006 წლის ნოემბერი. 2026 წლის 8 ივლისი: Telstra-ს NTP შასიში

3:15 ↗