რეგულარულმა გამოსახულებამ Cloudflare გათიშა. 27 წუთით.
2019 წლის 2 ივლისი, 13:42 UTC: Cloudflare-ის ვებ აპლიკაციის firewall-ის ერთი ახალი წესი ამოქმედდა 180-ზე მეტ ქალაქში დაახლოებით ორ წამში.
2019 წლის 2 ივლისი, 13:42 UTC: Cloudflare-ის ვებ აპლიკაციის firewall-ის ერთი ახალი წესი ამოქმედდა 180-ზე მეტ ქალაქში დაახლოებით ორ წამში. ეს არის XSS წესი სიმულაციის რეჟიმში, ამიტომ არაფერს ბლოკავს, მაგრამ მაინც მუშაობს ყოველ მოთხოვნაზე და მთავრდება .*(?:.*=.*)-ით. PCRE უკან იხევს, HTTP-ს მომსახურე ყველა CPU ბირთვი 100%-ს აღწევს, და Cloudflare-ის მიერ პროქსირებული ყველა საიტი 27 წუთის განმავლობაში 502-ს აბრუნებს; ტრაფიკი 82%-ით ეცემა. გამომრთველი Cloudflare Access-ის უკან დგას, რომელიც თავის მხრივ Cloudflare-ის უკან დგას. პოსტმორტემი, Cloudflare-ის საკუთარი აღწერიდან: CPU დაცვა ამოღებულია კვირით ადრე რეფაქტორინგისას, რომელიც CPU-ს დაზოგვას ისახავდა მიზნად, პროცედურა, რომელიც ნებისმიერ წესს აძლევდა საშუალებას გამოეტოვებინა სტეიჯინგი, ძრავა სირთულის გარანტიის გარეშე, 11 მიზეზი და 7 გამოსწორება. გამოსწორების ვერდიქტი: SHIP IT.
წაიკითხეთ წერილობითი გამოცემა (ინგლისური) ↗
რას მოიცავს ეს ვიდეო
- 13:31–13:42 UTC: PR შერწყმულია, CI მწვანე (CPU ტესტის გარეშე), Quicksilver აგზავნის წესს 180+ ქალაქში; WAF წესები გამოტოვებს DOG → PIG → Canary ეტაპებს
- 13:45–14:07: პირველი გვერდი; CPU 100% მთელ მსოფლიოში, ტრაფიკი −82%, 502 შეცდომები ყველგან; შიდა მართვის პანელი Cloudflare Access-ის უკან არის, რომელიც არ მუშაობს; ზოგიერთი სერტიფიკატი ვადაგასულია; იშვიათად გამოყენებული შემოვლითი გზა
- 14:07–14:09: გლობალური WAF გათიშვა; ტრაფიკი და CPU ნორმალიზდება 27 წუთის შემდეგ; 14:52 WAF დაბრუნდა წესის გარეშე
- 2 ივლისი (15:50 UTC) და 12 ივლისი: Cloudflare აქვეყნებს იმავე დღის ჩანაწერს და სრულ პოსტმორტემს; CPU დაცვა ხელახლა დაემატა, 3,868 წესი ხელახლა იქნა წაკითხული, ეტაპობრივი გამოშვებები, გადასვლა წრფივი დროის რეგულარული გამოსახულების ძრავზე
კითხვები და პასუხები
როგორ შეიძლება ერთმა რეგულარულმა გამოსახულებამ გათიშოს გლობალური ქსელი?
რეგულარულ გამოსახულებას შეუზღუდავი უკანდახევით შეუძლია დაბლოკოს ყოველი CPU ბირთვი, რომელიც მას აფასებს. Cloudflare-ის პოსტმორტემის მიხედვით, ახალი firewall წესი მთავრდებოდა .*(?:.*=.*)-ით, PCRE უკან იხევდა ყოველი სხვა გაყოფის გავლით, და CPU 100%-ს აღწევდა ყოველ ბირთვზე, რომელიც HTTP-ს ემსახურებოდა. Cloudflare-ის უკან არსებული საიტები 27 წუთის განმავლობაში აბრუნებდნენ 502 შეცდომებს და ტრაფიკი 82%-ით დაეცა.
რატომ გამოიწვია სიმულაციის რეჟიმში არსებულმა firewall წესმა გათიშვა?
სიმულაციის რეჟიმი აჩერებს წესს ტრაფიკის დაბლოკვისგან, მაგრამ წესი მაინც ფასდება ყოველ მოთხოვნაზე. 2019 წლის 2 ივლისს 13:31 UTC-ზე გაერთიანებული წესი იყო ჯვარედინი საიტის სკრიპტინგის წესი სიმულაციის რეჟიმში, ამიტომ არაფერს ბლოკავდა, მაგრამ მაინც მუშაობდა ყოველ მოთხოვნაზე. Cloudflare-ის პოსტმორტემი ამბობს, რომ მისი შეფასების ღირებულებამ ამოწურა CPU.
როგორ მიაღწია ერთმა წესმა Cloudflare-ის ყველა მონაცემთა ცენტრს ორ წამში?
Firewall წესებმა გამოტოვეს ეტაპობრივი გაშვება, რომელსაც სხვა გამოშვებები გადიოდნენ. პოსტმორტემის მიხედვით, პროცედურა საშუალებას აძლევდა ნებისმიერ წესს ერთდროულად გამხდარიყო გლობალური, რადგან წესები არსებობს ცოცხალი შეტევების შესაჩერებლად. ეს წესი არ იყო საგანგებო სიტუაცია, და Quicksilver-მა მაინც გაგზავნა იგი 180-ზე მეტ ქალაქში დაახლოებით ორ წამში, CI-ში CPU ტესტის გარეშე, რომ დაეჭირა.
რატომ დასჭირდა Cloudflare-ს 27 წუთი, რომ გამორთო გაუმართავი firewall კომპონენტი?
შიდა მართვის პანელი Cloudflare Access-ის უკან იჯდა, რომელიც თავის მხრივ Cloudflare-ის უკან იჯდა, ამიტომ გათიშვამ გადაკეტა გზა გამომრთველისკენ. ზოგიერთი სერტიფიკატი ვადაგასული იყო გამოუყენებლობის გამო, და შემოვლით გზას, რომელიც იშვიათად გამოიყენებოდა, დაახლოებით ხუთი წუთი დასჭირდა. გლობალური WAF გათიშვა განხორციელდა 14:07 UTC-ზე, და ტრაფიკი კვლავ ნორმალური იყო 14:09-ზე.
უნდა შეინარჩუნონ თუ არა გუნდებმა რეგულარული გამოსახულების ძრავები უკანდახევით მოთხოვნის ბილიკის კოდში Cloudflare-ის გათიშვის შემდეგ?
The Daily Diff-ის ვერდიქტი იყო SHIP IT, Cloudflare-ის გამოსწორებისთვის. CPU დაცვა აღდგა, 3,868 წესი ხელახლა იქნა წაკითხული, წესები გადის ეტაპობრივი გაშვების გავლით, და ძრავა გადადის ისეთზე, რომელსაც აქვს წრფივი დროის გარანტიები. ეპიზოდის პრაქტიკული რჩევაა თავიდან იქნას აცილებული ისეთი ნიმუშები, როგორიცაა წერტილი-ვარსკვლავი წერტილი-ვარსკვლავი ნებისმიერ რამეში, რაც ყოველ მოთხოვნაზე მუშაობს და გამომრთველი შეინახოს სისტემისგან მოშორებით, რომელსაც ის აკონტროლებს.
ნათარგმნი ტრანსკრიპტი
ნათარგმნია ორიგინალური ინგლისური ნარატივიდან. ხელმისაწვდომი აუდიო და სუბტიტრები კონტროლდება YouTube-ის მიერ.
0:00 ერთი რეგულარული გამოსახულება ერთდროულად ცოცხლდება ყველა Cloudflare სერვერზე, და მომდევნო ოცდაშვიდი წუთის განმავლობაში მის უკან არსებული საიტები არის 502 გვერდი, რაც, firewall-ისთვის, არის უმკაცრესი შესაძლო პარამეტრი. 2019 წლის 2 ივლისი, 13:42 UTC. Cloudflare აქვეყნებს ორ საათში: არა შეტევა, არამედ ცუდი განლაგება, ტრაფიკი შემცირდა 82 პროცენტით. ათი დღის შემდეგ ტექნიკური დირექტორი ჯონ გრეჰემ-კამინგი აქვეყნებს სრულ პოსტმორტემს, რეგულარული გამოსახულება შედის, და Hacker News აძლევს 698 ქულას,
0:26 რაც გათიშვისთვის ოვაციებია. როგორ ხდება, რატომ არის შესაძლებელი და ვინ იღებს რეალურად ბრალს. ეს არის The Daily Diff, პოსტმორტემი. 13:31. Pull request გაერთიანდა: ერთი ახალი firewall წესი ჯვარედინი საიტის სკრიპტინგის წინააღმდეგ, სიმულაციის რეჟიმში, ამიტომ არაფერს ბლოკავს. 13:37, ტესტები წარმატებით გავიდა; არცერთი არ ზომავს CPU-ს. 13:42, წესი გაიგზავნა 180 ქალაქში ორ წამში, რადგან WAF წესები გამოტოვებს ძაღლის, ღორის და კანარის ეტაპებს, რომლებსაც სხვა გამოშვებები გადიან.
0:54 13:45, პირველი გვერდი. 13:49, Hacker News-ს აქვს სტატია სტატუსის გვერდზე, რომელიც კვლავ ამბობს, რომ ყველა სისტემა მუშაობს. წესი მთავრდება წერტილი-ვარსკვლავით, წერტილი-ვარსკვლავით, ტოლობის ნიშნით, წერტილი-ვარსკვლავით: რაც არ უნდა იყოს, შემდეგ რაც არ უნდა იყოს, შემდეგ ტოლობის ნიშანი. PCRE ხარბად გამოიცნობს, ვერ ხერხდება და უკან იხევს ყველა სხვა გაყოფის გავლით. x უდრის x-ს სჭირდება 23 ნაბიჯი. ოცი x ტოლობის ნიშნის შემდეგ: 555.
1:15 ოცი x, ტოლობის ნიშნის გარეშე: 4,067 ნაბიჯი არაფრის მოსაძებნად. გაუშვით ეს ყოველ მოთხოვნაზე და ყოველი ბირთვი ას პროცენტზეა, არაფერს აკეთებს, საფუძვლიანად. ორ მცველს უნდა დაეჭირა. CPU ლიმიტი წესებზე შეცდომით მოიხსნა კვირით ადრე, რეფაქტორინგისას, რომელიც WAF-ის CPU მოხმარების შემცირებას ისახავდა მიზნად. და პროცედურა საშუალებას აძლევს ნებისმიერ წესს გამოტოვოს სტეიჯინგი, რადგან წესები არსებობს ცოცხალი შეტევების შესაჩერებლად; ეს არ იყო საგანგებო სიტუაცია, და მაინც გლობალურად გავრცელდა.
1:37 14:00, WAF იდენტიფიცირებულია; არა შეტევა. 14:02, ვიღაც გვთავაზობს გლობალურ გათიშვას: ერთი კომპონენტი, გათიშვა, მთელ მსოფლიოში. გადამრთველი Cloudflare Access-ის უკან არის. Cloudflare Access Cloudflare-ის უკან არის. ზოგიერთი სერტიფიკატი ვადაგასულია გამოუყენებლობის გამო, ამიტომ ინტერნეტის უსწრაფესი ქსელი ხუთ წუთს ხარჯავს შემოვლით გზაზე, რომელიც არავის გაუვლია. 14:07, გათიშვა. 14:09, ტრაფიკი ნორმალურია. git blame: გაშვება ერთი სიჩქარით, გლობალური; CPU დაცვა შემთხვევით რეფაქტორინგის შედეგად გაუქმდა;
2:04 რეგულარული გამოსახულების ძრავა ზედა ზღვრის გარეშე. არა ის ინჟინერი, ვინც დაწერა წესი: პოსტმორტემი ჩამოთვლის თერთმეტ მიზეზს და არავის ასახელებს. გავრცელების არეალი: 27 წუთი, ტრაფიკის 82 პროცენტი, 100 პროცენტი CPU ყოველ ბირთვზე, ყველა ქალაქში. პანელი და API იმავე კიდეზეა, ამიტომ მომხმარებლებს არც შეუძლიათ გამორთვა. Hacker News, პოსტმორტემის ქვეშ: მათ ჰქონდათ ერთი პრობლემა, გამოიყენეს რეგულარული გამოსახულება, ახლა აქვთ ორი. ძველი ხუმრობა. მაინც კომპილირდება.
2:28 ვერდიქტი, პოსტმორტემი: SHIP IT. CPU დაცვა დაბრუნდა, ყველა 3,868 წესი ხელახლა იკითხება ხელით, წესები გადის სტეიჯინგის გავლით, და ძრავა გადადის ისეთზე, რომელსაც აქვს წრფივი დროის გარანტიები, გამოქვეყნებული კენ ტომპსონის მიერ 1968 წელს. ორშაბათი: არცერთი წერტილი-ვარსკვლავი წერტილი-ვარსკვლავი არაფერში, რაც ყოველ მოთხოვნაზე მუშაობს, და შეინახეთ გამომრთველი იმ სისტემისგან მოშორებით, რომელსაც ის თიშავს. გამომიგზავნეთ ინციდენტი, რომელზეც ჯერ კიდევ არ გაქვთ საუბრის უფლება, კომენტარებში, ან daily diff dot dev-ზე.
2:53 და ეს არის დღევანდელი განსხვავება. მე ნიკო ვარ Axrisi-დან. შეერწყა პასუხისმგებლობით.
წყაროები
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



