+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook kustutas end internetist. Kuus tundi.

Facebook eemaldab oma aadressi internetist ja kui selle insenerid saabuvad seda tagasi panema, on ka pääsukaardilugejad maas, sest need töötavad Facebookis.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook eemaldab oma aadressi internetist ja kui selle insenerid saabuvad seda tagasi panema, on ka pääsukaardilugejad maas, sest need töötavad Facebookis. 4. oktoober 2021, 15:40 UTC: rutiinne põhivõrgu hoolduskäsk viib alla kõik lingid Facebooki andmekeskuste vahel; selle blokeerimiseks loodud auditeerimistööriistal on viga; Facebooki nimeserverid, mis ei suuda andmekeskusteni jõuda, eemaldavad oma BGP-marsruudid disaini järgi — ja facebook.com, Instagram, WhatsApp ja Messenger kaovad DNS-ist peaaegu kuueks tunniks. Sisemised tööriistad, "out-of-band" ligipääs ja kontori pääsukaardid sõidavad samas võrgus, seega vajab parandamine inimesi riiulite juurde.

Loe kirjalikku väljaannet (inglise keeles) ↗

Mida see video hõlmab

  • Facebook eemaldab oma aadressi
  • Kviitungid: Meta Engineering, Cloudflare, Hacker News
  • See on The Daily Diff, järelkaja
  • Ajakava: 15:39 käsk → 15:40 eemaldati → 21:20 tagasi
  • Mehhanism: tervisekontroll, mis kustutab su, 30× DNS-torm, uksed

Küsimused ja vastused

Mis põhjustas 2021. aasta oktoobri Facebooki, Instagrami ja WhatsAppi katkestuse?

Rutiinne põhivõrgu hoolduskäsk lülitas välja kõik ühendused Facebooki andmekeskuste vahel ja selliseid käske blokeerida püüdnud auditi tööriistas oli viga. Meta inseneride kirjelduse kohaselt lahutas see andmekeskused üksteisest. Kell 15:40 UTC nägi Cloudflare, et marsruudid Facebooki nimeserveritesse on tagasi võetud, ja facebook.com tagastas SERVFAIL, kuni see kell 21:20 uuesti lahenes.

Vaata seda osa 0:40 · engineering.fb.com · blog.cloudflare.com

Miks eemaldasid Facebooki DNS-serverid end internetist?

Nimeserverid olid loodud oma BGP-marsruute tagasi võtma, kui nad ei suutnud andmekeskusteni jõuda. See reegel on mõistlik, kui üks sait ebaõnnestub. Kui kogu põhivõrk ebaõnnestus, kuulutas iga nimeserver end korraga ebatervislikuks ja lõpetas oma aadressi reklaamimise. Serverid töötasid endiselt, kuid keegi ei leidnud neid.

Vaata seda osa 1:20 · engineering.fb.com · blog.cloudflare.com

Miks ei suutnud Facebooki insenerid katkestust eemalt parandada?

Sisemised tööriistad, "out-of-band" juurdepääs ja kontori pääsukaardilugejad töötasid kõik samas võrgus, mis oli ebaõnnestunud. Insenerid pidid minema andmekeskustesse, kus riiuleid oli kaitstud igaühe eest, kellel oli füüsiline juurdepääs. The New York Times teatas kell 18:51 UTC töötajatest, kes olid surnud pääsukaartide tõttu hoonetest välja lukustatud.

Vaata seda osa 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Kuidas mõjutas Facebooki katkestus ülejäänud internetti?

Rakendused proovisid uuesti ja kasutajad laadisid uuesti, nii et Cloudflare'i lahendaja nägi kolmkümmend korda tavapärasest suuremat koormust saidile, mis ei olnud kättesaadav. See episood seab plahvatusraadiuse kolmele ja poolele miljardile kasutajale peaaegu kuueks tunniks. Samuti teatatakse, et Telegram väitis sel päeval seitsekümmend miljonit registreerumist.

Vaata seda osa 2:25 · blog.cloudflare.com · www.reuters.com

Kas Facebooki järelanalüüs lahendas katkestuse algpõhjused?

The Daily Diffi otsus oli NEEDS REVIEW. Facebook avaldas samal õhtul avalduse, avaldas päeva jooksul nimetatud autori järelanalüüsi ja tunnistas auditi tööriista viga selges eesti keeles. Selle parandusloend keskendus tugevamatele testimistele ja harjutustele ning ei öelnud midagi tootmisvõrgu uste eemaldamise kohta. Episood soovitab paigutada "out-of-band" juurdepääsu võrku, mida te ei opereeri.

Vaata seda osa 2:38 · engineering.fb.com · engineering.fb.com

Tõlgitud transkriptsioon

Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.

Facebook eemaldab oma aadressi

0:00 Facebook eemaldab oma aadressi internetist ja kui selle insenerid saabuvad seda tagasi panema, on ka pääsukaardilugejad maas, sest need töötavad Facebookis. Meta enda järelkaja, järgmisel päeval: rutiinne hoolduskäsk viib alla iga põhivõrgu lingi ja selliste käskude blokeerimiseks loodud tööriistal on viga.

Kviitungid: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, väljastpoolt: kell 15:40 UTC kaovad marsruudid Facebooki nimeserveriteni ja dig facebook.com tagastab SERVFAIL-i kõikjal planeedil. Kuidas see juhtub, miks turvafunktsioon seda halvendab ja kes saab süüdistuse. See on The Daily Diff, järelkaja. Varajane pärastlõuna, UTC.

See on The Daily Diff, järelkaja

0:34 Käsk, mis pidi kontrollima vaba põhivõrgu mahtu, viib hoopis alla iga lingi Facebooki andmekeskuste vahel ja auditeerimistööriist, mis on loodud just seda

Ajakava: 15:39 käsk → 15:40 eemaldati → 21:20 tagasi

0:41 püüdmiseks, laseb selle läbi. 15:40. Cloudflare'i BGP-voog täitub eemaldamistega; Facebooki DNS-i eestliited lahkuvad marsruutimistabelist. Minuti jooksul on Cloudflare'i insenerid toas, mõeldes, kas nad rikkusid 1.1.1.1. 15:45, Hacker News, kakskümmend kuussada punkti. 16:07, Facebooki pressiesindaja, Twitteris kõigist kohtadest: mõnedel inimestel on raskusi meie rakenduste kasutamisega. Mõned inimesed on kolm ja pool miljardit.

1:06 18:51, New York Times: töötajad on oma hoonetest välja lukustatud, pääsukaardid surnud. 19:52, tehniline juht vabandab. 21:00, viis tundi möödas, marsruudid naasevad; 21:20, facebook.com laheneb. Miks kustutab põhivõrgu rike Facebooki internetist?

Mehhanism: tervisekontroll, mis kustutab su, 30× DNS-torm, uksed

1:20 Selle nimeserveritel on reegel: ei pääse andmekeskusteni, deklareeri end ebatervaks, lõpeta oma aadressi reklaamimine. Mõistlik, kui üks sait läheb halvaks. Kui kogu põhivõrk läheb, teeb seda iga nimeserver korraga. Serverid on üleval. Keegi ei leia neid. Turvafunktsioon muudab võrgurikke eksistentsirikkeks. Siis kuhjub internet: rakendused proovivad uuesti, kasutajad laadivad uuesti,

1:39 ja Cloudflare'i resolver näeb kolmkümmend korda oma tavalisest koormusest, saidi jaoks, mida seal pole. Ja uksed. Tööriistad, out-of-band ligipääs, pääsukaardid: sama võrk. Insenerid sõidavad andmekeskustesse, ei saa sisse, siis kohtuvad riiulitega, mis on tugevdatud igasuguse füüsilise juurdepääsu vastu. Ehitatud ründaja aeglustamiseks, aeglustab see ka omanikku. Põhivõrk naaseb; nad suurendavad liiklust aeglaselt, meelega.

1:59 Iga andmekeskus on kaotanud kümneid megavatte ja selle ühes sammus tagasipööramine on teine katkestus.

git blame — jagunemine

2:05 git blame. Facebook, viiskümmend viis protsenti: käsk auditeeriti, audiitoril oli viga, üks käsk jõudis iga ruuterini. DNS-i disain, kakskümmend viis: tervisekontroll ilma proportsioonitundeta. Üks võrk, viisteist: tööriistad, out-of-band, pääsukaardid. Riiulid, viis, oma töö tegemise eest. Mõju ulatus: kolm ja pool miljardit kasutajat, peaaegu kuus tundi. Aktsia sulgub viis protsenti madalamal, kuus miljardit Zuckerbergilt maha,

Mõju ulatus

2:27 paberil. Telegram väidab sel päeval seitsekümmend miljonit registreerumist. Otsus, järelkaja: NEEDS REVIEW. Samaõhtune avaldus, nimega autori järelkaja ühe päeva jooksul, auditeerimistööriista viga tunnistatud selges eesti keeles.

Otsus + esmaspäevane rida

2:38 Paranduste nimekiri: tugevdada testimist ja harjutusi. Midagi uste tootmisvõrgust eemaldamise kohta pole. Esmaspäev: pane oma "out-of-band" ligipääs ja oma uks võrku, mida sa ei halda. Saada mulle intsident, millest sa ikka veel rääkida ei tohi, kommentaarides või the daily diff dot dev aadressile. Ja see on tänane "diff". Olen Niko Axrisi'st.

2:58 SHIP IT vastutustundlikult.

Allikad

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Seotud videod