+− THE DAILY DIFFdev & AI news
SHIP IT

Бир регулярдуу туюнтма Cloudflare'ди токтотту. 27 мүнөт.

2019-жылдын 2-июлу, саат 13:42 UTC: Cloudflare'дин Web Application Firewall үчүн бир жаңы эреже эки секундага жакын убакытта 180ден ашык шаарда жанданган.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2019-жылдын 2-июлу, саат 13:42 UTC: Cloudflare'дин Web Application Firewall үчүн бир жаңы эреже эки секундага жакын убакытта 180ден ашык шаарда жанданган. Бул симуляция режиминдеги XSS эрежеси болгон, ошондуктан ал эч нерсени бөгөттөгөн эмес, бирок ал ар бир суроо-талап боюнча иштей берген жана .*(?:.*=.*) менен аяктаган. PCRE артка кайтып, HTTP тейлеген ар бир CPU ядросу 100%га жеткен жана Cloudflare проксиленген ар бир сайт 27 мүнөт бою 502 кайтарган; трафик 82%га түшкөн. Өчүрүү которгучу Cloudflare Access артында жайгашкан, ал Cloudflare артында жайгашкан. Cloudflare'дин өзүнүн жазганынан кийинки талдоо: CPUну үнөмдөө максатында бир нече жума мурун рефакторингде алынып салынган CPU коргоочусу, ар кандай эрежеге стейджингди өткөрүп жиберүүгө мүмкүндүк берген жол-жобо, татаалдыкты кепилдөөсү жок кыймылдаткыч, 11 себеп жана 7 оңдоо. Оңдоонун өкүмү: SHIP IT.

Жазма басылышын окуу (Англисче) ↗

Бул видео эмнелерди камтыйт

  • 13:31–13:42 UTC: PR бириктирилген, CI жашыл (CPU тести жок), Quicksilver эрежени 180+ шаарга түртөт; WAF эрежелери DOG → PIG → Canary этаптарын өткөрүп жиберет
  • 13:45–14:07: биринчи барак; CPU 100% дүйнө жүзү боюнча, трафик -82%, бардык жерде 502лер; ички башкаруу панели Cloudflare Access артында, ал иштебей калган; кээ бир ишеним грамоталарынын мөөнөтү өтүп кеткен; сейрек машыккан айланып өтүү
  • 14:07–14:09: глобалдуу WAF өчүрүү; трафик жана CPU 27 мүнөттөн кийин нормалдуу; 14:52 WAF эрежесиз кайтып келди
  • 2-июль (15:50 UTC) жана 12-июль: Cloudflare ошол эле күнкү эскертүүнү жана толук постмортемди жарыялайт; CPU коргоочусу кайра кошулду, 3,868 эреже кайра окулду, баскычтуу жайылтуулар, сызыктуу убакыт regex кыймылдаткычына өтүү

Суроолор жана жооптор

Бир регулярдуу туюнтма кантип глобалдуу тармакты өчүрө алат?

Чексиз артка кайтуучу регулярдуу туюнтма аны баалаган ар бир CPU ядросун жүктөй алат. Cloudflare'дин постмортемине ылайык, жаңы брандмауэр эрежеси .*(?:.*=.*) менен аяктаган, PCRE ар бир башка бөлүү аркылуу артка кайтып, HTTP тейлеген ар бир ядрода CPU 100%га жеткен. Cloudflare артындагы сайттар 27 мүнөт бою 502 катасын кайтарып, трафик 82%га төмөндөгөн.

blog.cloudflare.com · blog.cloudflare.com

Симуляция режиминдеги брандмауэр эрежеси эмне үчүн дагы эле үзгүлтүккө учуратты?

Симуляция режими эрежени трафикти бөгөттөөдөн токтотот, бирок эреже ар бир суроо-талап боюнча дагы эле бааланат. 2019-жылдын 2-июлунда саат 13:31 UTCде бириктирилген эреже симуляция режиминдеги сайттар аралык скриптинг эрежеси болгон, ошондуктан ал эч нерсени бөгөттөгөн эмес, бирок ал ар бир суроо-талап боюнча иштеген. Cloudflare'дин постмортеми аны баалоонун баасы CPUну түгөттү дейт.

blog.cloudflare.com

Бир эреже кантип эки секундада Cloudflare'дин бардык маалымат борборлоруна жетти?

Брандмауэр эрежелери башка чыгарылыштар өткөн баскычтуу жайылтууну өткөрүп жиберген. Постмортемге ылайык, процедура ар кандай эреженин бир убакта глобалдуу жайылышына мүмкүндүк берген, анткени эрежелер жандуу чабуулдарды токтотуу үчүн бар. Бул эреже өзгөчө кырдаал эмес болчу, бирок Quicksilver аны болжол менен эки секундада 180+ шаарга түрттү, аны кармай турган CIде CPU тести жок болчу.

blog.cloudflare.com · blog.cloudflare.com

Cloudflare'ге бузук брандмауэр компонентин өчүрүү үчүн эмне үчүн 27 мүнөт керек болду?

Ички башкаруу панели Cloudflare Access артында жайгашкан, ал Cloudflare артында жайгашкан, ошондуктан үзгүлтүк өчүрүү которгучуна жолду бөгөттөгөн. Кээ бир ишеним грамоталары колдонулбагандыктан мөөнөтү өтүп кеткен, жана сейрек машыккан айланып өтүү болжол менен беш мүнөткө созулган. Глобалдуу WAF өчүрүү саат 14:07 UTCде колдонулган, жана трафик 14:09да кайра нормалдуу болгон.

blog.cloudflare.com · x.com

Cloudflare'дин үзгүлтүгүнөн кийин командалар суроо-талап жолундагы коддо артка кайтуучу regex кыймылдаткычтарын колдоно бериши керекпи?

The Daily Diff'тин өкүмү Cloudflare'дин оңдоолору үчүн SHIP IT болгон. CPU коргоочусу калыбына келтирилди, 3,868 эреже кайра окулду, эрежелер баскычтуу жайылтуулардан өтөт, жана кыймылдаткыч сызыктуу убакыт кепилдиктери бар кыймылдаткычка өтөт. Эпизоддун практикалык кеңеши - ар бир суроо-талап боюнча иштеген эч нерседе чекит-жылдыз чекит-жылдыз сыяктуу үлгүлөрдөн качуу жана өчүрүү которгучун ал башкарган системадан алыс кармоо.

blog.cloudflare.com

Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

0:00 Бир регулярдуу туюнтма Cloudflare'дин ар бир серверинде бир убакта иштей баштайт, жана кийинки жыйырма жети мүнөт ичинде анын артындагы сайттар 502 баракчасын көрсөтөт, бул, брандмауэр үчүн, мүмкүн болгон эң катуу жөндөө. 2019-жылдын 2-июлу, саат 13:42 UTC. Cloudflare эки сааттын ичинде жарыялайт: чабуул эмес, туура эмес жайылтуу, трафик 82 пайызга төмөндөгөн. Он күндөн кийин CTO Джон Грэм-Камминг толук постмортемди жарыялайт, анын ичинде regex, жана Hacker News ага 698 упай берет,

0:26 бул өчүрүү үчүн ордунан туруп кол чабуу. Кантип болгон, эмне үчүн мүмкүн болгон жана ким күнөөлүү. Бул The Daily Diff, постмортем. 13:31. Тартуу суроо-талабы бириктирилген: сайттар аралык скрипттерге каршы бир жаңы брандмауэр эрежеси, симуляция режиминде, ошондуктан ал эч нерсени бөгөттөгөн эмес. 13:37, тесттер өтөт; эч бири CPUну өлчөбөйт. 13:42, эреже эки секундада 180 шаарга жөнөтүлөт, анткени WAF эрежелери башка чыгарылыштар алган ит, чочко жана канарейка этаптарын өткөрүп жиберет.

0:54 13:45, биринчи барак. 13:49, Hacker News статустук баракча боюнча талкууну баштаган, ал дагы эле бардык системалар иштеп жатат дейт. Эреже чекит-жылдыз, чекит-жылдыз, барабар, чекит-жылдыз менен аяктайт: каалаган нерсе, андан кийин каалаган нерсе, анан барабар белгиси. PCRE ачкөздүк менен болжолдойт, ишке ашпайт жана башка бөлүүлөрдүн баары аркылуу артка кайтат. х барабар х 23 кадамды алат. Барабардан кийинки жыйырма х: 555.

1:15 Жыйырма х, барабар белгиси жок: эч нерсе таппаш үчүн 4,067 кадам. Муну ар бир суроо-талап боюнча иштетсеңиз, ар бир ядро жүз пайызга жетет, эч нерсе кылбай, кылдаттык менен. Эки сакчы аны кармашы керек эле. Эрежелердеги CPU чеги бир нече жума мурун ката кетирип алынып салынган, WAFтын CPUну азыраак колдонуусун камсыздоо максатында рефакторингде. Жана процедура ар кандай эрежеге стейджингди өткөрүп жиберүүгө мүмкүндүк берет, анткени эрежелер жандуу чабуулдарды токтотуу үчүн бар, бул өзгөчө кырдаал эмес болчу, бирок баары бир дүйнөлүк масштабда тараган.

1:37 14:00, WAF аныкталды; чабуул жок. 14:02, кимдир бирөө глобалдуу токтотууну сунуштайт: бир компонентти, дүйнө жүзү боюнча өчүрүү. Которгуч Cloudflare Access артында. Cloudflare Access Cloudflare артында. Кээ бир ишеним грамоталары колдонулбагандыктан мөөнөтү өтүп кеткен, ошондуктан интернеттеги эң ылдам тармак эч ким машыкпаган айланып өтүүгө беш мүнөт короткон. 14:07, өчүрүү. 14:09, трафик нормалдуу. git blame: бир ылдамдыктагы жайылтуу, глобалдуу; CPU коргоочусу кокустан рефакторингде алынып салынган;

2:04 жогорку чеги жок regex кыймылдаткычы. Эрежени жазган инженер эмес: постмортемде он бир себеп көрсөтүлгөн жана эч кимдин аты аталган эмес. Жабыркаган аймак: 27 мүнөт, трафиктин 82 пайызы, ар бир шаарда, ар бир ядрода 100 пайыз CPU. Башкаруу панели жана API ошол эле чектин артында жайгашкан, ошондуктан кардарлар аны өчүрө алышкан эмес. Hacker News, постмортемдин астында: аларда бир көйгөй бар эле, регулярдуу туюнтманы колдонушту, эми аларда эки көйгөй бар. Эски тамаша. Дагы эле компиляцияланат.

2:28 Өкүм, постмортем: SHIP IT. CPU коргоочусу кайра орнотулду, бардык 3,868 эреже кол менен кайра окулат, эрежелер стейджингден өтөт, жана кыймылдаткыч Кен Томпсон тарабынан 1968-жылы жарыяланган сызыктуу убакыт кепилдиктери бар кыймылдаткычка өтөт. Дүйшөмбү: ар бир суроо-талап боюнча иштеген эч нерседе чекит-жылдыз чекит-жылдыз жок, жана өчүрүү которгучун ал өлтүргөн нерседен алыс кармаңыз. Мага дагы эле сүйлөөгө уруксат берилбеген окуяны жөнөтүңүз, комментарийлерде, же the daily diff dot dev дарегинде.

2:53 Жана бүгүнкү айырма ушул. Мен Axrisi'ден Нико. Жоопкерчилик менен бириктириңиз.

Булактар

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Окшош видеолор

postmortem · ky · 2026-ж., 25-сен.

Бир миллисекунддук мүчүлүштүк Улуу Британиянын аба кыймылын токтотту. Алты саатка.

Шейшемби күнү, 8-сентябрда, саат 10:00дө NATSтын Улуттук Аба Мейкиндиги Системасынын (NAS) ичиндеги бир кадимки squawk-кодун суроосу, ал баалуулукту жарым-жартылай жаңыртып жаткан кезде, жогорку артык

3:06 ↗
postmortem · ky · 2026-ж., 22-сен.

Кайра жүктөлгөн Telstraны 2006-жылга кайтарды. Тогуз миллион телефон.

Мельбурндагы инженер эртең мененки саат 2:50дө убакыт шассисин кайра иштетет, ал эми эртең менен Австралиянын эң чоң мобилдик тармагы 2006-жылдын ноябры экенине макул болот. 2026-жылдын 8-июлу: Telstr

3:15 ↗