Facebook s-a șters singur de pe internet. Șase ore.
Facebook își retrage propria adresă de pe internet, iar când inginerii săi sosesc să o repună, cititoarele de ecusoane sunt și ele defecte, pentru că funcționează pe Facebook.
Facebook își retrage propria adresă de pe internet, iar când inginerii săi sosesc să o repună, cititoarele de ecusoane sunt și ele defecte, pentru că funcționează pe Facebook. 4 octombrie 2021, 15:40 UTC: o comandă de rutină de mentenanță a rețelei principale întrerupe fiecare legătură între centrele de date ale Facebook; instrumentul de audit construit pentru a o bloca are o eroare; serverele de nume ale Facebook, incapabile să ajungă la centrele de date, își retrag propriile rute BGP prin design — și facebook.com, Instagram, WhatsApp și Messenger dispar din DNS timp de aproape șase ore. Instrumentele interne, accesul în afara benzii și ecusoanele de birou folosesc aceeași rețea, deci remedierea necesită oameni la rack-uri.
Citiți ediția scrisă (engleză) ↗
Ce acoperă acest videoclip
- Facebook își retrage propria adresă
- Dovezile: Meta Engineering, Cloudflare, Hacker News
- Acesta este The Daily Diff, postmortem
- Cronologie: comandă 15:39 → retragere 15:40 → înapoi 21:20
- Mecanism: verificarea de sănătate care te șterge, furtuna DNS de 30×, ușile
Întrebări și răspunsuri
Ce a cauzat întreruperea serviciilor Facebook, Instagram și WhatsApp din octombrie 2021?
O comandă de întreținere de rutină a infrastructurii a întrerupt toate legăturile dintre centrele de date Facebook, iar instrumentul de audit menit să blocheze astfel de comenzi avea un bug. Potrivit descrierii tehnice a Meta, acest lucru a deconectat centrele de date între ele. Până la 15:40 UTC, Cloudflare a observat retragerea rutelor către serverele de nume ale Facebook, iar facebook.com a returnat SERVFAIL până când a fost rezolvat din nou la 21:20.
De ce serverele DNS ale Facebook s-au eliminat singure de pe internet?
Serverele de nume au fost proiectate să își retragă propriile rute BGP atunci când nu puteau ajunge la centrele de date. Această regulă este sensibilă atunci când un singur site eșuează. Când întreaga infrastructură a eșuat, fiecare server de nume s-a declarat nesănătos deodată și a încetat să-și mai publice adresa. Serverele funcționau încă, dar nimeni nu le putea găsi.
De ce inginerii Facebook nu au putut remedia întreruperea de la distanță?
Instrumentele interne, accesul out-of-band și cititoarele de carduri de acces din birou funcționau toate pe aceeași rețea care a eșuat. Inginerii au trebuit să meargă la centrele de date, unde rack-urile erau protejate împotriva oricui avea acces fizic. The New York Times a raportat angajați blocați în afara clădirilor cu carduri moarte la 18:51 UTC.
Cum a afectat întreruperea serviciilor Facebook restul internetului?
Aplicațiile au reîncercat și utilizatorii au reîncărcat, astfel că rezolvitorul Cloudflare a înregistrat o încărcare de treizeci de ori mai mare decât cea normală pentru un site care nu era accesibil. Episodul plasează raza de impact la trei miliarde și jumătate de utilizatori pentru aproape șase ore. De asemenea, raportează că Telegram a revendicat șaptezeci de milioane de înregistrări în acea zi.
A rezolvat analiza post-mortem a Facebook problemele fundamentale din spatele întreruperii?
Verdictul The Daily Diff a fost NEEDS REVIEW. Facebook a emis o declarație în aceeași seară, a publicat o analiză post-mortem cu autor nominalizat în decurs de o zi și a recunoscut bug-ul instrumentului de audit în termeni clari. Lista sa de remedii s-a concentrat pe testare și exerciții mai puternice și nu a menționat nimic despre eliminarea ușilor din rețeaua de producție. Episodul sfătuiește plasarea accesului out-of-band pe o rețea pe care nu o operați.
Transcrierea tradusă
Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.
Facebook își retrage propria adresă
0:00 Facebook își retrage propria adresă de pe internet, iar când inginerii săi sosesc să o repună, cititoarele de ecusoane sunt și ele defecte, pentru că funcționează pe Facebook. Propriul postmortem al Meta, a doua zi: o comandă de rutină de mentenanță întrerupe fiecare legătură principală, iar instrumentul construit pentru a bloca astfel de comenzi are o eroare.
Dovezile: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, din exterior: la 15:40 UTC rutele către serverele de nume ale Facebook dispar, și dig facebook.com returnează SERVFAIL peste tot pe planetă. Cum se întâmplă, de ce o funcționalitate de siguranță o înrăutățește, și cine este de vină. Acesta este The Daily Diff, postmortem. După-amiaza devreme, UTC.
Acesta este The Daily Diff, postmortem
0:34 O comandă menită să verifice capacitatea liberă a rețelei principale întrerupe în schimb fiecare legătură între centrele de date ale Facebook, iar instrumentul de audit construit pentru a prinde exact acest lucru
Cronologie: comandă 15:39 → retragere 15:40 → înapoi 21:20
0:41 o lasă să treacă. 15:40. Feed-ul BGP al Cloudflare se umple cu retrageri; prefixele DNS ale Facebook părăsesc tabela de rutare. În decurs de un minut, inginerii Cloudflare sunt într-o sală întrebându-se dacă ei au stricat 1.1.1.1. 15:45, Hacker News, două mii șase sute de puncte. 16:07, purtătorul de cuvânt al Facebook, pe Twitter dintre toate locurile: unii oameni au probleme la accesarea aplicațiilor noastre. Unii oameni înseamnă trei miliarde și jumătate.
1:06 18:51, New York Times: angajați blocați în afara clădirilor lor, ecusoane moarte. 19:52, CTO își cere scuze. 21:00, după cinci ore, rutele revin; 21:20, facebook.com se rezolvă. De ce o eroare de rețea principală șterge Facebook de pe internet?
Mecanism: verificarea de sănătate care te șterge, furtuna DNS de 30×, ușile
1:20 Serverele sale de nume au o regulă: nu pot ajunge la centrele de date, declară-te nesănătos, încetează să-ți mai publici adresa. Rezonabil când un singur site se strică. Când întreaga rețea principală cedează, fiecare server de nume face acest lucru deodată. Serverele sunt active. Nimeni nu le poate găsi. O funcționalitate de siguranță transformă o eroare de rețea într-o eroare de existență. Apoi internetul se adună: aplicațiile reîncearcă, utilizatorii reîncarcă,
1:39 iar resolver-ul Cloudflare vede de treizeci de ori încărcarea sa normală, pentru un site care nu există. Și ușile. Instrumente, acces în afara benzii, ecusoane: aceeași rețea. Inginerii conduc la centrele de date, nu pot intra, apoi întâlnesc rack-uri fortificate împotriva oricui cu acces fizic. Construit pentru a încetini un atacator, încetinește și proprietarul. Rețeaua principală revine; ei cresc traficul lent, intenționat.
1:59 Fiecare centru de date a scăzut zeci de megawați, iar inversarea acestui lucru într-un singur pas este o a doua întrerupere.
git blame — divizarea
2:05 git blame. Facebook, cincizeci și cinci la sută: comanda a fost auditată, auditorul a avut eroarea, o comandă a ajuns la fiecare router. Designul DNS, douăzeci și cinci: o verificare a sănătății fără simțul proporției. O rețea, cincisprezece: instrumente, out-of-band, ecusoane. Rack-urile, cinci, pentru că și-au făcut treaba. Raza de impact: trei miliarde și jumătate de utilizatori, aproape șase ore. Acțiunile închid în scădere cu cinci procente, șase miliarde pierdute de Zuckerberg,
Raza de impact
2:27 pe hârtie. Telegram revendică șaptezeci de milioane de înscrieri în acea zi. Verdict, postmortem: NEEDS REVIEW. Declarație în aceeași seară, postmortem cu autor numit în decurs de o zi, eroarea instrumentului de audit admisă în termeni simpli.
Verdict + linia de luni
2:38 Lista de remedieri: consolidarea testării și a exercițiilor. Nimic despre scoaterea ușilor din rețeaua de producție. Luni: puneți accesul out-of-band și ușa dvs. pe o rețea pe care nu o operați. Trimiteți-mi incidentul despre care încă nu aveți voie să vorbiți, în comentarii, sau la the daily diff dot dev. Și acesta este the diff pentru azi. Sunt Niko de la Axrisi.
2:58 Mergeți responsabil.
Surse
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



