Facebook het homself van die internet uitgevee. Ses ure.
Facebook verwyder sy eie adres van die internet, en wanneer sy ingenieurs opdaag om dit terug te plaas, is die kentekenlesers ook buite werking, want dit loop op Facebook.
Facebook verwyder sy eie adres van die internet, en wanneer sy ingenieurs opdaag om dit terug te plaas, is die kentekenlesers ook buite werking, want dit loop op Facebook. 4 Oktober 2021, 15:40 UTC: 'n roetine ruggraat-instandhoudingsbevel skakel elke skakel tussen Facebook se datasentrums af; die ouditprogram wat gebou is om dit te blokkeer het 'n fout; Facebook se naamservers, wat nie die datasentrums kan bereik nie, trek hul eie BGP-roetes deur ontwerp terug — en facebook.com, Instagram, WhatsApp en Messenger verdwyn van DNS vir byna ses uur. Interne gereedskap, buitebandtoegang en die kantoorkentekens loop op dieselfde netwerk, so die regstelling benodig mense by die rakke.
Lees die geskrewe uitgawe (Engels) ↗
Wat hierdie video dek
- Facebook verwyder sy eie adres
- Die kwitansies: Meta Engineering, Cloudflare, Hacker News
- Hierdie is The Daily Diff, postmortem
- Tydlyn: 15:39 bevel → 15:40 teruggetrek → 21:20 terug
- Meganisme: die gesondheidskontrole wat jou uitvee, die 30× DNS-storm, die deure
Vertaalde transkripsie
Vertaal uit die oorspronklike Engelse vertelling. Beskikbare klank en onderskrifte word deur YouTube beheer.
Facebook verwyder sy eie adres
0:00 Facebook verwyder sy eie adres van die internet, en wanneer sy ingenieurs opdaag om dit terug te plaas, is die kentekenlesers ook buite werking, want dit loop op Facebook. Meta se eie postmortem, volgende dag: 'n roetine instandhoudingsbevel skakel elke ruggraatskakel af, en die instrument wat gebou is om sulke bevele te blokkeer het 'n fout.
Die kwitansies: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, van buite: om 15:40 UTC verdwyn die roetes na Facebook se naamservers, en dig facebook.com gee SERVFAIL terug oral op die planeet. Hoe dit gebeur, waarom 'n veiligheidskenmerk dit vererger, en wie die skuld kry. Hierdie is The Daily Diff, postmortem. Vroeë middag, UTC.
Hierdie is The Daily Diff, postmortem
0:34 'n Bevel bedoel om vrye ruggraatkapasiteit te kontroleer skakel eerder elke skakel af tussen Facebook se datasentrums, en die ouditprogram wat gebou is om presies dit te vang
Tydlyn: 15:39 bevel → 15:40 teruggetrek → 21:20 terug
0:41 laat dit deur. 15:40. Cloudflare se BGP-voer vul met terugtrekkings; Facebook se DNS voorvoegsels verlaat die roetetabel. Binne 'n minuut is Cloudflare se ingenieurs in 'n kamer en wonder of hulle 1.1.1.1 gebreek het. 15:45, Hacker News, tweeduisend seshonderd punte. 16:07, Facebook se woordvoerder, op Twitter van alle plekke: sommige mense het moeilikheid om toegang tot ons programme te kry. Sommige mense is drie en 'n half miljard.
1:06 18:51, die New York Times: werknemers buite hul geboue gesluit, kentekens dood. 19:52, die CTO vra om verskoning. 21:00, vyf uur in, roetes keer terug; 21:20, facebook.com los op. Hoekom vee 'n ruggraatfout Facebook van die internet af?
Meganisme: die gesondheidskontrole wat jou uitvee, die 30× DNS-storm, die deure
1:20 Sy naamservers het 'n reël: kan nie die datasentrums bereik nie, verklaar jouself ongesond, hou op om jou adres te adverteer. Sinnig wanneer een terrein sleg gaan. Wanneer die hele ruggraat gaan, doen elke naamserver dit tegelyk. Die servers is aan. Niemand kan hulle vind nie. 'n Veiligheidskenmerk verander 'n netwerkfout in 'n bestaanfout. Dan pak die internet op: programme probeer weer, gebruikers herlaai,
1:39 en Cloudflare se oplosser sien dertig keer sy normale lading, vir 'n terrein wat nie daar is nie. En die deure. Gereedskap, buitebandtoegang, kentekens: dieselfde netwerk. Ingenieurs ry na die datasentrums, kan nie inkom nie, ontmoet dan rakke wat gehard is teen enigiemand met fisiese toegang. Gebou om 'n aanvaller te vertraag, vertraag dit ook die eienaar. Die ruggraat keer terug; hulle verhoog verkeer stadig, met opset.
1:59 Elke datasentrum het tientalle megawatt afgeskakel, en om dit in een stap om te keer is 'n tweede onderbreking.
git blame — die verdeling
2:05 git blame. Facebook, vyf en vyftig persent: die bevel is geoudit, die ouditeur het die fout gehad, een bevel het elke router bereik. Die DNS-ontwerp, vyf en twintig: 'n gesondheidskontrole sonder sin vir proporsie. Een netwerk, vyftien: gereedskap, buiteband, kentekens. Die rakke, vyf, vir die doen van hul werk. Ontploffingsradius: drie en 'n half miljard gebruikers, byna ses uur. Die aandeel sluit vyf persent laer, ses miljard af vir Zuckerberg,
Ontploffingsradius
2:27 op papier. Telegram eis sewentig miljoen aanmeldings daardie dag. Uitspraak, postmortem: NEEDS REVIEW. Selfde-aand verklaring, genoemde-outeur postmortem binne 'n dag, oudit-instrument fout erken in eenvoudige Engels.
Uitspraak + die Maandag-lyn
2:38 Die regmaaklys: versterk toetsing en oefeninge. Niks oor die verwydering van die deure van die produksienetwerk nie. Maandag: plaas jou buitebandtoegang, en jou deur, op 'n netwerk wat jy nie bedryf nie. Stuur vir my die insident waaroor jy nog nie mag praat nie, in die kommentaar, of by the daily diff dot dev. En dit is die diff vir vandag. Ek is Niko van Axrisi.
2:58 Merge verantwoordelik.
Bronne
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
