Facebook eyddi sjálfu sér af internetinu. Sex klukkustundir.
Facebook fjarlægir eigið heimilisfang af internetinu og þegar verkfræðingar þess koma til að setja það aftur inn eru kortalesarar líka óvirkir, vegna þess að þeir ganga á Facebook.
Facebook fjarlægir eigið heimilisfang af internetinu og þegar verkfræðingar þess koma til að setja það aftur inn eru kortalesarar líka óvirkir, vegna þess að þeir ganga á Facebook. 4. október 2021, 15:40 UTC: venjubundin viðhaldskipun á burðarneti slær út alla tengingu milli gagnavera Facebook; endurskoðunartólið sem var byggt til að loka fyrir það hefur galla; nafnþjónar Facebook, sem geta ekki náð til gagnaveranna, draga til baka eigin BGP-leiðir að hönnun — og facebook.com, Instagram, WhatsApp og Messenger hverfa af DNS í næstum sex klukkustundir. Innri verkfæri, úth-band aðgangur og skrifstofumerki ganga á sama neti, svo aðgerðin þarf fólk við rekka.
Lestu skriflegu útgáfuna (enska) ↗
Það sem þetta myndband fjallar um
- Facebook fjarlægir sitt eigið heimilisfang
- Kvittanirnar: Meta Engineering, Cloudflare, Hacker News
- Þetta er The Daily Diff, eftirfylgni
- Tímalína: 15:39 skipun → 15:40 afturkallað → 21:20 aftur
- Verkunarmáti: heilsufarsskoðunin sem eyðir þér, 30× DNS stormurinn, hurðirnar
Spurningar og svör
Hvað olli rafmagnsleysinu hjá Facebook, Instagram og WhatsApp í október 2021?
Venjuleg viðhaldsskipan fyrir bakgrunnskerfi tók niður allar tengingar milli gagnavera Facebook og endurskoðunartækið sem átti að stöðva slíkar skipanir hafði villu. Samkvæmt verkfræðiskýrslu Meta, aftengdi það gagnaverin hvert frá öðru. Klukkan 15:40 UTC sá Cloudflare að leiðir að nafnþjónum Facebook voru teknar til baka og facebook.com skilaði SERVFAIL þar til það leystist aftur klukkan 21:20.
Hvers vegna fjarlægðu DNS-þjónar Facebook sig af internetinu?
Nafnþjónarnir voru hannaðir til að draga til baka eigin BGP-leiðir þegar þeir náðu ekki til gagnaveranna. Sú regla er skynsamleg þegar ein síða bilar. Þegar allt bakgrunnskerfið bilaði, lýstu allir nafnþjónar sig óheilbrigða í einu og hættu að auglýsa heimilisfang sitt. Þjónarnir voru enn í gangi, en enginn gat fundið þá.
Hvers vegna gátu verkfræðingar Facebook ekki lagað rafmagnsleysið fjarstýrt?
Innri verkfæri, aðgangur utan bandbreiddar og kortalesarar á skrifstofunni keyrðu allir á sama neti og hafði bilað. Verkfræðingar þurftu að fara í gagnaverin, þar sem grindurnar voru hertar gegn öllum með líkamlegan aðgang. The New York Times greindi frá því að starfsmenn væru læstir úti úr byggingum með ónýtum kortum klukkan 18:51 UTC.
Hvernig hafði rafmagnsleysið hjá Facebook áhrif á restina af internetinu?
Forrit reyndu aftur og notendur endurhlóðuðu, svo leysir Cloudflare sá þrjátíu sinnum eðlilegt álag fyrir síðu sem ekki var hægt að ná í. Atvikið sýnir að áhrifin náðu til þriggja og hálfs milljarðs notenda í nærri sex klukkustundir. Einnig er greint frá því að Telegram hafi sagt frá sjötíu milljónum nýskráninga þann dag.
Lagaði eftirfylgni Facebook rótarvandamálin sem lágu að baki rafmagnsleysinu?
Dómur The Daily Diff var NEEDS REVIEW. Facebook gaf út yfirlýsingu sama kvöld, birti eftirfylgniskýrslu með nafngreindum höfundi innan dags og viðurkenndi villuna í endurskoðunartækinu á einföldu máli. Lagfæringalistinn einbeitti sér að sterkari prófunum og æfingum og sagði ekkert um að taka hurðirnar af framleiðslunetinu. Atvikið ráðleggur að setja aðgang utan bandbreiddar á neti sem þú rekur ekki.
Þýtt afrit
Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.
Facebook fjarlægir sitt eigið heimilisfang
0:00 Facebook fjarlægir sitt eigið heimilisfang af internetinu, og þegar verkfræðingar þess koma til að setja það aftur inn, eru kortalesarar líka niðri, vegna þess að þeir keyra á Facebook. Eigin eftirfylgni Meta, næsta dag: venjubundin viðhaldskipun slær út alla burðarásartengingu, og tólið sem byggt var til að hindra slíkar skipanir hefur galla.
Kvittanirnar: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, utan frá: klukkan 15:40 UTC hverfa leiðir til nafnþjóna Facebook, og dig facebook.com skilar SERVFAIL alls staðar á jörðinni. Hvernig það gerist, hvers vegna öryggiseiginleiki gerir það verra, og hver fær skömmina. Þetta er The Daily Diff, eftirfylgni. Snemma eftirmiðdag, UTC.
Þetta er The Daily Diff, eftirfylgni
0:34 Skipun sem átti að athuga lausa burðarásargetu slær í staðinn út allar tengingar milli gagnavera Facebook, og endurskoðunartólið sem byggt var til að ná nákvæmlega þessu
Tímalína: 15:39 skipun → 15:40 afturkallað → 21:20 aftur
0:41 sleppir því í gegn. 15:40. BGP-straumur Cloudflare fyllist af afturköllunum; DNS-forskeyti Facebook yfirgefa leiðartöfluna. Innan mínútu eru verkfræðingar Cloudflare í herbergi að velta fyrir sér hvort þeir hafi brotið 1.1.1.1. 15:45, Hacker News, tvö þúsund og sex hundruð stig. 16:07, talsmaður Facebook, á Twitter af öllum stöðum: sumir eiga í vandræðum með aðgang að forritunum okkar. Sumir eru þrír og hálfur milljarður.
1:06 18:51, New York Times: starfsmenn læstir úti úr byggingum sínum, kort óvirk. 19:52, tæknistjórinn biðst afsökunar. 21:00, fimm klukkustundum síðar, leiðir snúa aftur; 21:20, facebook.com leysist. Hvers vegna eyðir burðarásarbilun Facebook af internetinu?
Verkunarmáti: heilsufarsskoðunin sem eyðir þér, 30× DNS stormurinn, hurðirnar
1:20 Nafnþjónar þess hafa reglu: geta ekki náð til gagnaveranna, lýsa yfir sjálfum sér óheilbrigðum, hætta að auglýsa heimilisfang sitt. Skynsamlegt þegar ein síða fer úrskeiðis. Þegar allur burðarásinn fer, gera allir nafnþjónar það í einu. Þjónarnir eru uppi. Enginn finnur þá. Öryggiseiginleiki breytir netbilun í tilvistargalla. Síðan hellist internetið yfir: forrit reyna aftur, notendur endurhlaða,
1:39 og resolver Cloudflare sér þrjátíu sinnum eðlilegt álag, fyrir síðu sem er ekki til. Og hurðirnar. Verkfæri, utanáliggjandi aðgangur, skírteini: sama net. Verkfræðingar keyra til gagnaveranna, komast ekki inn, hittast síðan á rekka sem eru hertir gegn öllum með líkamlegan aðgang. Byggt til að hægja á árásarmanni, það hægir líka á eigandanum. Burðarásinn snýr aftur; þeir auka umferð hægt, viljandi.
1:59 Hvert gagnaver hefur misst tugi megawatta, og að snúa því við í einu skrefi er önnur truflun.
git blame — skiptingin
2:05 git blame. Facebook, fimmtíu og fimm prósent: skipunin var endurskoðuð, endurskoðandinn hafði villuna, ein skipun náði til allra beina. DNS hönnunin, tuttugu og fimm: heilsufarsskoðun án nokkurs skynsamlegs hlutfalls. Eitt net, fimmtán: verkfæri, útbands, skírteini. Rekkanir, fimm, fyrir að vinna sína vinnu. Útbreiðslusvæði: þrír og hálfur milljarður notenda, næstum sex klukkustundir. Hlutabréfin loka niður um fimm prósent, sex milljarða af Zuckerberg,
Útbreiðslusvæði
2:27 á pappír. Telegram heldur því fram að sjötíu milljónir hafi skráð sig þann dag. Dómur, eftirfylgni: NEEDS REVIEW. Yfirlýsing sama kvöld, nafngreindur höfundur eftirfylgni innan dags, endurskoðunartól villa viðurkennd á einföldu máli.
Dómur + mánudagslínan
2:38 Listi yfir lagfæringar: styrkja prófanir og æfingar. Ekkert um að taka hurðirnar af framleiðslunetinu. Mánudagur: settu utanaðkomandi aðgang þinn, og hurðina þína, á net sem þú reknar ekki. Sendu mér atvikið sem þú mátt enn ekki tala um, í athugasemdum, eða á the daily diff dot dev. Og þetta er munurinn fyrir í dag. Ég er Niko frá Axrisi.
2:58 Sameinaðu á ábyrgan hátt.
Heimildir
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



