Facebook-ek bere burua ezabatu zuen internetetik. Sei ordu.
Facebook-ek bere helbidea internetetik kentzen du, eta ingeniariak itzultzeko iristen direnean, txartel irakurgailuak ere behera daude, Facebook-en funtzionatzen dutelako.
Facebook-ek bere helbidea internetetik kentzen du, eta ingeniariak itzultzeko iristen direnean, txartel irakurgailuak ere behera daude, Facebook-en funtzionatzen dutelako. 2021eko urriaren 4a, 15:40 UTC: ohiko sare nagusiaren mantentze-komando batek Facebook-en datu-zentroen arteko lotura guztiak jaisten ditu; hau blokeatzeko eraikitako auditoria-tresnak akats bat du; Facebook-en izen-zerbitzariek, datu-zentroetara iristeko gai ez direnez, beren BGP bideak diseinuz erretiratzen dituzte — eta facebook.com, Instagram, WhatsApp eta Messenger DNS-tik desagertzen dira ia sei orduz. Barne-tresnak, bandatik kanpoko sarbidea eta bulegoko txartelak sare berean dabiltza, beraz, konponketak jendea apaletan behar du.
Irakurri idatzizko edizioa (ingelesez) ↗
Bideo honek zer jorratzen duen
- Facebook-ek bere helbidea kentzen du
- Frogarik: Meta Engineering, Cloudflare, Hacker News
- Hau The Daily Diff da, postmortem
- Denbora-lerroa: 15:39 komandoa → 15:40 erretiratua → 21:20 berriz martxan
- Mekanismoa: zu ezabatzen zaituen osasun-egiaztapena, 30× DNS ekaitza, ateak
Galderak eta erantzunak
Zerk eragin zuen 2021eko urriko Facebook, Instagram eta WhatsApp-en etenaldia?
Ohiko bizkarrezurreko mantentze-lanen komando batek Facebook-en datu-zentroen arteko lotura guztiak eten zituen, eta halako komandoak blokeatzeko zen auditoretza-tresnak akats bat zuen. Metaren ingeniaritza-txostenaren arabera, horrek datu-zentroak elkarrengandik deskonektatu zituen. 15:40 UTC-an, Cloudflare-k Facebook-en izen-zerbitzarietara bideak erretiratuta ikusi zituen, eta facebook.com-ek SERVFAIL itzuli zuen, 21:20-an berriro konpondu zen arte.
Zergatik kendu zituzten Facebook-en DNS zerbitzariek beren burua internetetik?
Izen-zerbitzariak beren BGP bideak erretiratzeko diseinatu ziren, datu-zentroetara iritsi ezin zirenean. Arau hori zentzuzkoa da gune batek huts egiten duenean. Bizkarrezur osoak huts egin zuenean, izen-zerbitzari guztiek osasungaitz deklaratu zuten beren burua aldi berean eta beren helbideak iragarzeari utzi zioten. Zerbitzariak martxan zeuden oraindik, baina inork ezin zituen aurkitu.
Zergatik ezin izan zituzten Facebook-eko ingeniariek etenaldia urrunetik konpondu?
Barne-tresnak, kanpoko sarbidea eta bulegoko txartel irakurgailuak sare berean zeuden, huts egin zuen sarean. Ingeniariek datu-zentroetara joan behar izan zuten, non rack-ak sarbide fisikoa zuen edonoren aurka gogortuta zeuden. The New York Times-ek jakinarazi zuenez, langileak eraikinetatik kanpo blokeatuta geratu ziren hildako txartelekin 18:51 UTC-an.
Nola eragin zion Facebook-en etenaldiak interneteko gainerakoei?
Aplikazioak berriro saiatu ziren eta erabiltzaileek berriro kargatu zituzten, beraz, Cloudflare-ren ebazleak ohiko karga hogeita hamar aldiz handiagoa ikusi zuen eskuragarri ez zegoen gune baterako. Gertakari honek hiru mila eta bostehun milioi erabiltzailerentzako sei ordu inguruko eragina izan zuen. Era berean, Telegram-ek egun horretan hirurogeita hamar milioi erregistro aldarrikatu zituela jakinarazi du.
Facebook-en postmortem-ak etenaldiaren atzean zeuden arazo nagusiak konpondu zituen?
The Daily Diff-en epaia NEEDS REVIEW izan zen. Facebook-ek gauean bertan adierazpen bat egin zuen, egile izendun postmortem bat argitaratu zuen egun batean eta auditoretza-tresnaren akatsa ingeles arruntez onartu zuen. Konponketa-zerrendak proba eta simulazio indartsuagoetan oinarritu zen eta ez zuen ezer esan produkzio-sareko ateak kentzeari buruz. Gertakariak gomendatzen du kanpoko sarbidea zuk kudeatzen ez duzun sare batean jartzea.
Itzulitako transkripzioa
Jatorrizko ingelesezko narraziotik itzulia. Eskuragarri dauden audioa eta azpitituluak YouTube-k kontrolatzen ditu.
Facebook-ek bere helbidea kentzen du
0:00 Facebook-ek bere helbidea internetetik kentzen du, eta ingeniariak itzultzeko iristen direnean, txartel irakurgailuak ere behera daude, Facebook-en funtzionatzen dutelako. Metaren postmortem-a, hurrengo egunean: ohiko mantentze-komando batek jaisten du sare nagusiaren lotura bakoitza, eta horrelako komandoak blokeatzeko eraikitako tresnak akats bat du.
Frogarik: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare-k, kanpotik: 15:40 UTC-an Facebook-en izen-zerbitzarien ibilbideak desagertu egiten dira, eta dig facebook.com-ek SERVFAIL itzultzen du planetako leku guztietan. Nola gertatzen den, zergatik segurtasun-eginbide batek okerrago egiten duen, eta nork duen errua. Hau The Daily Diff da, postmortem. Arratsalde hasiera, UTC.
Hau The Daily Diff da, postmortem
0:34 Sare nagusiaren gaitasun librea egiaztatzeko komando batek, horren ordez, lotura guztiak jaisten ditu Facebook-en datu-zentroen artean, eta hau harrapatzeko eraikitako auditoria-tresnak
Denbora-lerroa: 15:39 komandoa → 15:40 erretiratua → 21:20 berriz martxan
0:41 pasatzen uzten du. 15:40. Cloudflare-ren BGP jarioa erretiratzeez betetzen da; Facebook-en DNS aurrizkiak bideratze-taulatik ateratzen dira. Minutu batean Cloudflare-ren ingeniariak gela batean daude, ea beraiek 1.1.1.1. apurtu duten galdetzen. 15:45, Hacker News, hogeita sei mila puntu. 16:07, Facebook-en bozeramailea, Twitter-en, hain zuzen ere: batzuek arazoak dituzte gure aplikazioetara sartzeko. Batzuk hiru mila bostehun milioi dira.
1:06 18:51, The New York Times: langileak beren eraikinetatik kanpo blokeatuta, txartelak hilda. 19:52, CTO-k barkamena eskatzen du. 21:00, bost ordu igaro eta gero, ibilbideak itzuli dira; 21:20, facebook.com ebazten da. Zergatik sare nagusiaren akats batek Facebook internetetik ezabatzen du?
Mekanismoa: zu ezabatzen zaituen osasun-egiaztapena, 30× DNS ekaitza, ateak
1:20 Bere izen-zerbitzariek arau bat dute: ezin dute datu-zentroetara iritsi, osasungaitz deklaratu, zure helbidea iragartzeari utzi. Zentzuzkoa gune bat gaizki doanean. Sare nagusi osoa jaisten denean, izen-zerbitzari bakoitzak aldi berean egiten du. Zerbitzariak martxan daude. Inork ezin ditu aurkitu. Segurtasun-eginbide batek sare-akats bat existentzia-akats bihurtzen du. Gero internetek gehitu egiten du: aplikazioek berriro saiatzen dira, erabiltzaileek berriro kargatzen dute,
1:39 eta Cloudflare-ren ebazleak ohiko karga hogeita hamar aldiz handiagoa ikusten du, existitzen ez den gune baterako. Eta ateak. Tresnak, bandatik kanpoko sarbidea, txartelak: sare bera. Ingeniariak datu-zentroetara joaten dira, ezin dira sartu, gero apal gogortuak aurkitzen dituzte sarbide fisikoa duen edonoren aurka. Erasotzaile bat moteltzeko eraikia, jabea ere moteltzen du. Sare nagusia itzultzen da; trafikoa poliki-poliki handitzen dute, nahita.
1:59 Datu-zentro bakoitzak hamarnaka megawatt galdu ditu, eta hori pauso batean atzera botatzea bigarren etenaldi bat da.
git blame — banaketa
2:05 git blame. Facebook, ehuneko berrogeita hamabost: komandoa auditatu zen, auditoreak akatsa zuen, komando batek bideratzaile guztietara iritsi zen. DNS diseinua, hogeita bost: proportzio-zentzurik gabeko osasun-egiaztapen bat. Sare bat, hamabost: tresnak, bandatik kanpo, txartelak. Apalak, bost, beren lana egiteagatik. Lehertze-erradioa: hiru mila bostehun milioi erabiltzaile, ia sei ordu. Akzioak ehuneko bost jaitsiz ixten dira, sei mila milioi Zuckerberg-en diru-sarreretatik,
Lehertze-erradioa
2:27 paperean. Telegram-ek hirurogeita hamar milioi alta aldarrikatzen ditu egun horretan. Epaia, postmortem: berrikustea behar du. Arratsalde bereko adierazpena, egile izendatua duen postmortem bat egun batean, auditoria-tresnaren akatsa argi eta garbi aitortua.
Epaia + asteleheneko lerroa
2:38 Konponketa-zerrenda: probak eta ariketak indartu. Ez dago ezer ekoizpen-saretik ateak kentzeari buruz. Astelehena: jarri zure bandatik kanpoko sarbidea, eta zure atea, zuk funtzionatzen ez duzun sare batean funtzionatzen ez duzun sare batean. Bidali oraindik hitz egiteko baimenik ez duzun gertaera, iruzkinetan, edo the daily diff dot dev-en. Eta hori da gaurko diff-a. Niko naiz, Axrisi-koa.
2:58 Fusio arduratsuan.
Iturriak
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



