Facebook poisti itsensä internetistä. Kuusi tuntia.

Mitä tämä video käsittelee

• Facebook poistaa oman osoitteensa
• Kuitit: Meta Engineering, Cloudflare, Hacker News
• Tämä on The Daily Diff, jälkianalyysi
• Aikajana: 15:39 komento → 15:40 peruttu → 21:20 takaisin
• Mekanismi: terveyden tarkistus, joka poistaa sinut, 30× DNS-myrsky, ovet

Käännetty transkriptio

Käännetty alkuperäisestä englanninkielisestä selostuksesta. Käytettävissä olevan äänen ja tekstitysten hallinta tapahtuu YouTuben kautta.

Facebook poistaa oman osoitteensa

0:00 Facebook poistaa oman osoitteensa internetistä, ja kun sen insinöörit saapuvat palauttamaan sitä, kulunvalvontalaitteetkin ovat alhaalla, koska ne toimivat Facebookin kautta. Metan oma jälkianalyysi, seuraavana päivänä: rutiininomainen ylläpitokomento kaataa kaikki runkoverkon linkit, ja sen kaltaisten komentojen estämiseen rakennetussa työkalussa on bugi.

Kuitit: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, ulkopuolelta: klo 15:40 UTC reitit Facebookin nimipalvelimille katoavat, ja dig facebook.com palauttaa SERVFAILin kaikkialla planeetalla. Miten se tapahtuu, miksi turvallisuusominaisuus pahentaa sitä, ja kuka saa syyn. Tämä on The Daily Diff, jälkianalyysi. Alkuiltapäivä, UTC.

Tämä on The Daily Diff, jälkianalyysi

0:34 Komento, jonka oli tarkoitus tarkistaa runkoverkon vapaata kapasiteettia, sen sijaan kaataa kaikki linkit Facebookin palvelinkeskusten välillä, ja valvontatyökalu, joka on rakennettu havaitsemaan juuri tämä,

Aikajana: 15:39 komento → 15:40 peruttu → 21:20 takaisin

0:41 päästää sen läpi. 15:40. Cloudflaren BGP-syöte täyttyy peruutuksilla; Facebookin DNS-etuliitteet poistuvat reititystaulusta. Minuutin sisällä Cloudflaren insinöörit ovat huoneessa miettien, rikkoivatko he 1.1.1.1:n. 15:45, Hacker News, kaksituhatta kuusisataa pistettä. 16:07, Facebookin tiedottaja, kaikkialla Twitterissä: joillakin ihmisillä on ongelmia päästä sovelluksiimme. Joitakin ihmisiä on kolme ja puoli miljardia.

1:06 18:51, New York Times: työntekijät lukittuina rakennustensa ulkopuolelle, kulunvalvontakortit kuolleita. 19:52, teknologiajohtaja pyytää anteeksi. 21:00, viisi tuntia myöhemmin, reitit palautuvat; 21:20, facebook.com resolvoituu. Miksi runkoverkon vika poistaa Facebookin internetistä?

Mekanismi: terveyden tarkistus, joka poistaa sinut, 30× DNS-myrsky, ovet

1:20 Sen nimipalvelimilla on sääntö: jos palvelinkeskuksiin ei pääse, julistaudu epäterveeksi, lakkaa mainostamasta osoitettasi. Järkevää, kun yksi sivusto menee pieleen. Kun koko runkoverkko kaatuu, jokainen nimipalvelin tekee sen kerralla. Palvelimet ovat toiminnassa. Kukaan ei löydä niitä. Turvallisuusominaisuus muuttaa verkkovian olemassaolovian. Sitten internet ryntää päälle: sovellukset yrittävät uudelleen, käyttäjät lataavat uudelleen,

1:39 ja Cloudflaren resolver näkee kolmekymmentä kertaa normaalin kuormituksensa, sivustolle, jota ei ole olemassa. Ja ovet. Työkalut, ulkopuolinen pääsy, kulunvalvontakortit: sama verkko. Insinöörit ajavat palvelinkeskuksiin, eivät pääse sisään, sitten kohtaavat laitetelineet, jotka on suojattu ketä tahansa fyysisesti pääsevää vastaan. Rakennettu hidastamaan hyökkääjää, se hidastaa myös omistajaa. Runkoverkko palautuu; he lisäävät liikennettä hitaasti, tarkoituksella.

1:59 Jokainen palvelinkeskus on pudottanut kymmeniä megawatteja, ja sen kääntäminen yhdessä vaiheessa on toinen käyttökatkos.

git blame — jako

2:05 git blame. Facebook, viisikymmentäviisi prosenttia: komento auditoitiin, auditoijalla oli bugi, yksi komento tavoitti jokaisen reitittimen. DNS-suunnittelu, kaksikymmentäviisi: terveyden tarkistus ilman suhteellisuudentajua. Yksi verkko, viisitoista: työkalut, ulkopuolinen, kulunvalvontakortit. Laitetelineet, viisi, työnsä tekemisestä. Vahinkoalue: kolme ja puoli miljardia käyttäjää, lähes kuusi tuntia. Osakekurssi päätyy alas viisi prosenttia, kuusi miljardia Zuckerbergiltä,

Vahinkoalue

2:27 paperilla. Telegram väittää seitsemänkymmentä miljoonaa rekisteröitymistä sinä päivänä. Tuomio, jälkianalyysi: NEEDS REVIEW. Saman illan lausunto, nimetyn tekijän jälkianalyysi vuorokauden sisällä, auditointityökalun bugi myönnetty selkeällä englannilla.

Tuomio + maanantain rivi

2:38 Korjauslista: vahvista testausta ja harjoituksia. Ei mitään ovien irrottamisesta tuotantoverkosta. Maanantai: laita ulkopuolinen pääsy, ja ovesi, verkkoon, jota et käytä. Lähetä minulle tapaus, josta et saa edelleenkään puhua, kommenteissa, tai osoitteessa the daily diff dot dev. Ja se on päivän diff. Olen Niko Axrisista.

2:58 SHIP IT vastuullisesti.

Lähteet

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com