+− THE DAILY DIFFdev & AI news
SHIP IT

Дахин ачаалах үйлдэл Telstra-г 2006 он руу буцаажээ. Есөн сая утас.

Мельбурны нэг инженер өглөөний 2:50 цагт цаг хэмжигч төхөөрөмжийг асаахад өглөөний цайны үеэр Австралийн хамгийн том үүрэн холбооны сүлжээ 2006 оны арваннэгдүгээр сар болсон гэдэгт санал нийлжээ.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Мельбурны нэг инженер өглөөний 2:50 цагт цаг хэмжигч төхөөрөмжийг асаахад өглөөний цайны үеэр Австралийн хамгийн том үүрэн холбооны сүлжээ 2006 оны арваннэгдүгээр сар болсон гэдэгт санал нийлжээ. 2026 оны 7-р сарын 8: Telstra-ийн NTP төхөөрөмжид суурилуулсан GPS карт тэжээлийн хангамжийг засах үед дахин ачаалагдсан байна. Түүний програм хангамж нь GPS-ийн долоо хоногийн эргэлтийн шинэчлэлтийг хэзээ ч хийж байгаагүй тул хуучин үеийг сонгон 1,024 долоо хоногийн өмнөх үе рүү буцсан байна. 2025 оны аравдугаар сард хийсэн түр зуурын шийдэл нь тухайн картыг сүлжээний цорын ганц stratum-1 эх үүсвэр болгосон бөгөөд 2020 оны NTP peering руу шилжих үйлдэл нь бусад бүх эх үүсвэрийг түүний доод түвшинд орхисон байсан тул буруу огноо нь ялжээ. 04:00 цагаас эхлэн хүлээлгэн өгөх зангилаанууд дахин тохируулагдаж, нийт дуудлага, дата холболтын 45% нь нөлөөлж, бараг 9 сая хэрэглэгч дуудлага, мессеж, датагаа алдаж, 604 Triple Zero дуудлага алдаа гарч, Виктория мужийн бүс нутгийн галт тэрэг зогсож, ихэнх үйлчилгээ 12:12 цагт сэргэжээ. Telstra-ийн өөрийн сэрүүлгүүд нь ажлын цагаар шалгагддаг платформ дээр байсан; компани нь хэрэглэгчид "Telstra-ийн тасалдал" гэж Google-ээр хайж байсан тул үүнийг анзаарсан байна.

Бичмэл хувилбарыг унших (Англи) ↗

Энэ видео юуг хамардаг

  • GPS карт 2006 оны арваннэгдүгээр сард сэржээ
  • Хугацаа: 2010 оны загвар → 2020 оны төхөөрөмж → 2025 оны 10-р сарын GPS карт → 02:50
  • Өглөө: 04:00 MME дахин тохируулагдсан → 04:20 сэрүүлгийн шуурга → 12:12 сэргээгдсэн
  • Механизм: NTP боломжтой байдлыг биш, харин тохиролцлыг санал хураалгасан
  • git blame — Telstra 55 · peering 25 · firmware 15 · тэжээлийн хангамж 5

Түгээмэл асуултууд

2026 оны 7-р сарын 8-нд Telstra үүрэн холбооны сүлжээний доголдол юунаас үүдэлтэй вэ?

Telstra-ийн NTP цагны шасси дахь GPS карт 02:50 цагт цахилгаан хангамжийн засварын үеэр дахин ачаалсан. Аудитын тайланд дурдсанаар, түүний програм хангамж нь GPS долоо хоногийн хөрвүүлэлтийн шинэчлэлтийг хэзээ ч хийгээгүй тул карт хуучин эхийг сонгож, 1,024 долоо хоног өнгөрсөн үед буусан. Ингээд сүлжээ нь огноог 2006 оны 11-р сар гэдэгт санал нийлсэн.

Энэ хэсгийг үзэх 0:28 · www.telstra.com.au · www.netnod.se

Яагаад сүлжээний цагны серверүүд илт буруу байсан огноог хүлээн зөвшөөрсөн бэ?

NTP нь эх үүсвэрүүд хоорондоо тохиролцож байгаа эсэхийг шалгадаг бөгөөд огноо нь үндэслэлтэй эсэхийг хэзээ ч асуудаггүй. Telstra-ийн 2025 оны 10-р сарын түр зуурын шийдэл нь GPS картыг цорын ганц stratum-1 эх үүсвэр болгосон бөгөөд 2020 онд NTP peering руу шилжсэн нь бусад бүх эх үүсвэрийг түүний доод урсгалд үлдээсэн. Иймээс эвдэрсэн эх үүсвэр нь бусдыгаа давж, түүний огноо нь санал хураалтад ялсан.

Энэ хэсгийг үзэх 1:47 · www.telstra.com.au · www.netnod.se

Telstra-ийн доголдол хэрхэн өрнөсөн бэ, мөн компани хэрхэн мэдсэн бэ?

Шилжүүлгийн зангилаанууд 04:00 цагт дахин эхлэж, улмаар 04:20 цагт бизнесийн цагаар уншдаг платформын дохиоллын шуурга эхэлсэн. Хэрэглэгчид Telstra-ийн доголдол гэж Google-д хайж байсан тул Telstra дөрвөн цаг хорин есөн минут орчимд мэджээ. Өөрчлөлт хийсэн инженерүүд заавал амрах ёстой байсан бөгөөд огноог олоход хэдэн цаг зарцуулсан, мөн ихэнх хэрэглэгчид 12:12 цаг гэхэд эргэж ирсэн.

Энэ хэсгийг үзэх 1:26 · www.telstra.com.au · www.netnod.se

Telstra-ийн доголдол хэдэн хүн, үйлчилгээнд нөлөөлсөн бэ?

The Guardian-ийн мэдээлснээр, Telstra-ийн Гүйцэтгэх захирал Сенатад тухайн өдрийн нийт дуудлага, дата хэрэглээний 45%-д нөлөөлсөн гэж мэдэгдсэн. Бараг 9 сая хэрэглэгч дуудлага, мессеж, датагаа алдсан, 604 Triple Zero дуудлага алдаа заасан, мөн Виктория мужийн бүс нутгийн галт тэрэг зогссон. Гучин сая долларын торгууль хэлэлцэгдэж байв.

Энэ хэсгийг үзэх 2:27 · www.theguardian.com · ia.acs.org.au

Telstra 2006 оны цагны доголдлыг сайн зохицуулсан уу, мөн бусад багууд юуг шалгах ёстой вэ?

The Daily Diff-ийн хариулт нь SHIP IT байсан. Telstra гадны аудиторууд хөлсөлж, тэдний тайланг засваргүйгээр нийтэлсэн бөгөөд энэ нь цагийг хэзээ ч чухал гэж үзээгүй гэсэн дүгнэлтийг багтаасан байв. Бусад багуудын хувьд Даваа гарагийн зөвлөгөө бол NTP trace ажиллуулж, тэдний цагны эх үүсвэрүүдийн хэд нь гурван малгай өмссөн нэг цаг байгааг тоолох явдал юм.

Энэ хэсгийг үзэх 2:44 · www.telstra.com.au · www.telstra.com.au

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

GPS карт 2006 оны арваннэгдүгээр сард сэржээ

0:00 Мельбурны нэг инженер өглөөний 2:50 цагт цаг хэмжигч төхөөрөмжийг дахин асаажээ өглөө, өглөөний цайны үеэр Австралийн хамгийн том үүрэн холбооны сүлжээ хоёр мянга зургаан оны арваннэгдүгээр сар болсон гэдэгт санал нийлжээ. Telstra-ийн гадаад тайланд нэг GPS карт болон бүх сүлжээ үүнийг санал хураалгасан гэжээ. Бараг есөн сая хэрэглэгч дуудлага, мессеж эсвэл датагаа алдсан мөн Виктория мужийн бүс нутгийн галт тэрэг өдөртөө зогссон. Хэрхэн болсон, яагаад нэг карт үндэсний цагийг давж гарсан

0:23 мөн хэн буруутай. Энэ бол The Daily Diff, постмортэм.

Хугацаа: 2010 оны загвар → 2020 оны төхөөрөмж → 2025 оны 10-р сарын GPS карт → 02:50

0:28 Хорин арван. Загвар нь сурах бичгийнх. Гурван үндэсний цагийн эх үүсвэр хоёр серверт өгөгдөл дамжуулж, тэдгээр нь доорх гуравт мөн зангилаа бүр зөвхөн дээрээс цагийг авдаг. Аудиторууд үүнийг зориулалтад нь нийцсэн гэж үздэг. Хорин хорин. Шинэ төхөөрөмж. Энэ нь өөрийн доод серверээ тэжээж чадахгүй тул Сидней болон Мельбурн хоорондоо холбогдож сайт бүр нэг лавлагаа руу шилждэг. Дараа нь бүх зүйл peering руу шилждэг бөгөөд сервер бүр дурын

0:50 олсон серверээс цагийг авч болно. Цагийн давталт гэсэн үг ямар ч баримт бичигт байхгүй. Хорин хорин таван оны аравдугаар сар. Мельбурн Сиднейг байнга алдаж, түүний сэрүүлгүүд stratum five гэж заадаг, энэ нь өөрийн хэрэглэгчдээс цаг авдаг гэсэн үг. Хэн ч тасалбар нээгээгүй. Оронд нь инженүүд таван жил ажилгүй байсан GPS картыг асаажээ. Сэрүүлэг зогссон.

1:07 Мельбурн одоо үндэсний институтын зэрэг болох stratum one болсон, мөн хэн ч үүнийг хянаагүй. Долдугаар сарын найман, өглөөний хоёр тавин. Тэжээлийн хангамжийг солих шаардлагатай тул төхөөрөмж дахин ачаалагдсан, мөн GPS карттайгаа хамт. Түүний програм хангамжийг хэзээ ч шинэчлээгүй тул хуучин үеийг сонгон нэг мянга хорин дөрвөн долоо хоногийн өмнөх үе рүү буцсан. Мельбурн модны оройд байрлаж, доод түвшин санал нийлж эхэлсэн.

Өглөө: 04:00 MME дахин тохируулагдсан → 04:20 сэрүүлгийн шуурга → 12:12 сэргээгдсэн

1:26 Өглөөний дөрвөн цагт, хүлээлгэн өгөх зангилаанууд дахин тохируулагдаж эхэлсэн. Дөрвөн хорин, сэрүүлгийн шуурга, сэрүүлгүүдийг ажлын цагаар уншдаг платформ дээр. Дөрвөн хорин ес, Telstra анзаарсан, учир нь хэрэглэгчид "Telstra-ийн тасалдал" гэж Google-ээр хайж байсан. Өөрчлөлтийг хийсэн инженүүд заавал амрах ёстой байсан, мөн огноог олоход хэдэн цаг зарцуулсан. Арван хоёр арван хоёр гэхэд ихэнх хэрэглэгчид сэргэсэн.

Механизм: NTP боломжтой байдлыг биш, харин тохиролцлыг санал хураалгасан

1:47 Яагаад энэ боломжтой байсан бэ? NTP хоёр хамгаалалттай. Бага stratum ялдаг, мөн онцгой тохиолдлууд санал хураалтаар хасагддаг. GPS карт эвдэрсэн эх үүсвэрийг хамгийн өндөр зэрэг болгосон, мөн санал нийлэхгүй байж болох бүх эх үүсвэр доод түвшинд байсан, үүнийг давтаж байсан. NTP хэзээ ч огноо боломжтой эсэхийг асуудаггүй, зөвхөн бусад нь санал нийлж байгаа эсэхийг л асуудаг. Протокол ажилласан.

2:06 Архитектур ажиллаагүй.

git blame — Telstra 55 · peering 25 · firmware 15 · тэжээлийн хангамж 5

2:07 git blame. Telstra, тавин таван хувь. Хэн ч цагийг эзэмшдэггүй байсан тул хэн ч өөрчлөлтийг хянаагүй, мөн энэ алдааны талаарх хоёр вендорын мэдэгдэл уншигдаагүй өнгөрсөн. Peering mode, хорин тав, серверүүдэд өөрсдийн цуурайгаар санал хураах боломж олгосон. Програм хангамж, арван тав, хэвлэгдсэн боловч хэзээ ч суулгаагүй. Тэжээлийн хангамжид таван хувь, Лхагва гарагийн өглөөний 2:50-ийг сонгосон. Нөлөөллийн хүрээ. Тухайн өдрийн бүх дуудлага, дата холболтын дөчин таван хувь,

Нөлөөллийн хүрээ: Холболтын 45%, 30K долларын хайрцагны төлөө 30 сая долларын торгууль

2:30 гэж гүйцэтгэх захирал Сенатад мэдэгдсэн. Ширээн дээр байгаа торгууль нь гучин сая доллар, гучин мянган долларын хайрцгаас алга болсон үнэгүй шинэчлэлтийн төлөө. Карт нь хорин арван есөн онд жинхэнэ эргэлтийг давж гарсан, учир нь хэн ч түүнийг унтраагаагүй. Засвар үүнийг устгасан. Шийдвэр, постмортэм: SHIP IT, хариу үйлдлийн талаар.

Шийдвэр + Даваа гарагийн мөр: нэг цаг гурван малгай өмссөн нь

2:46 Telstra гадны аудиторууд хөлсөлж, тайланг засваргүйгээр нийтэлсэн, цагийг хэзээ ч чухал гэж үзээгүй гэсэн мөртэйгээр, мөн гурван сайтыг хуучин серверээс шилжүүлсэн. Даваа гарагийн мөр: NTP trace хийж, таны цагийн эх үүсвэрийн хэд нь нэг цаг гурван малгай өмссөн болохыг тоол. Таны ярихыг зөвшөөрөөгүй байгаа үйл явдлыг надад илгээнэ үү, комментар хэсэгт, эсвэл thedailydiff.dev хаягаар. Тэгээд өнөөдрийн ялгаа энэ байна.

3:10 Би Axrisi-ийн Нико. Хариуцлагатай нэгтгээрэй.

Эх сурвалжууд

  1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
  2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
  3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
  4. Hacker News on the Netnod post (93 points)news.ycombinator.com
  5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
  6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
  7. The Register, the day itself (Jul 8, 2026)www.theregister.com
  8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Холбогдох видеонууд

postmortem · mn · 2026 оны 9-р сарын 25

Нэг миллисекундын алдаанаас болж Их Британийн агаарын хөдөлгөөн зогссон. Зургаан цагийн турш.

9-р сарын 8-ны Мягмар гарагийн 10:00 цагт NATS-ын Үндэсний Агаарын Орон Зайн Систем (NAS)-ийн доторх ердийн squawk-кодын нэг хүсэлтийг утгыг шинэчилж байх үед илүү өндөр ач холбогдолтой мессеж тасалду

3:06 ↗