ફેસબુકે પોતાને ઇન્ટરનેટ પરથી ડિલીટ કરી દીધું. છ કલાક.

આ વીડિયોમાં શું આવરી લેવામાં આવ્યું છે

• ફેસબુક પોતાનું સરનામું હટાવે છે
• રસીદો: મેટા એન્જિનિયરિંગ, Cloudflare, હેકર ન્યૂઝ
• આ ધ ડેઇલી ડિફ છે, પોસ્ટમોર્ટમ
• સમયરેખા: 15:39 કમાન્ડ → 15:40 પાછો ખેંચાયો → 21:20 પાછો
• પદ્ધતિ: હેલ્થ ચેક જે તમને ડિલીટ કરે છે, 30× DNS સ્ટોર્મ, દરવાજા

અનુવાદિત ટ્રાન્સક્રિપ્ટ

મૂળ અંગ્રેજી કથામાંથી અનુવાદિત. ઉપલબ્ધ ઑડિઓ અને કૅપ્શન્સ YouTube દ્વારા નિયંત્રિત થાય છે.

ફેસબુક પોતાનું સરનામું હટાવે છે

0:00 ફેસબુક ઇન્ટરનેટ પરથી પોતાનું સરનામું હટાવે છે, અને જ્યારે તેના એન્જિનિયરો તેને પાછું લાવવા આવે છે, ત્યારે બેજ રીડર પણ બંધ હોય છે, કારણ કે તે ફેસબુક પર ચાલે છે. મેટાનું પોતાનું પોસ્ટમોર્ટમ, બીજા દિવસે: એક નિયમિત જાળવણી કમાન્ડ દરેક બેકબોન લિંકને બંધ કરી દે છે, અને આવા કમાન્ડને બ્લોક કરવા માટે બનાવવામાં આવેલ ટૂલમાં એક બગ છે.

રસીદો: મેટા એન્જિનિયરિંગ, Cloudflare, હેકર ન્યૂઝ

0:16 Cloudflare, બહારથી: 15:40 UTC વાગ્યે ફેસબુકના નેમ સર્વરના રૂટ્સ અદૃશ્ય થઈ જાય છે, અને dig facebook.com ગ્રહ પર દરેક જગ્યાએ SERVFAIL પરત કરે છે. આ કેવી રીતે થાય છે, શા માટે સલામતી સુવિધા તેને વધુ ખરાબ બનાવે છે, અને કોને દોષ મળે છે. આ ધ ડેઇલી ડિફ છે, પોસ્ટમોર્ટમ. બપોરની શરૂઆત, UTC.

આ ધ ડેઇલી ડિફ છે, પોસ્ટમોર્ટમ

0:34 ખાલી બેકબોન ક્ષમતા તપાસવા માટેનો આદેશ ફેસબુકના ડેટા સેન્ટર વચ્ચેની દરેક લિંકને બંધ કરી દે છે, અને આને પકડવા માટે બનાવવામાં આવેલ ઓડિટ ટૂલ

સમયરેખા: 15:39 કમાન્ડ → 15:40 પાછો ખેંચાયો → 21:20 પાછો

0:41 તેને પસાર થવા દે છે. 15:40. Cloudflare નો BGP ફીડ ઉપાડવાથી ભરાઈ જાય છે; ફેસબુકના DNS પ્રીફિક્સેસ રૂટીંગ ટેબલ છોડી દે છે. એક મિનિટની અંદર Cloudflare ના એન્જિનિયરો એક રૂમમાં બેઠા છે અને વિચારી રહ્યા છે કે શું તેઓએ 1.1.1.1 તોડ્યું. 15:45, હેકર ન્યૂઝ, છવીસ સો પોઈન્ટ. 16:07, ફેસબુકના પ્રવક્તા, ટ્વિટર પર બધા સ્થળોએ: કેટલાક લોકોને અમારી એપ્સ એક્સેસ કરવામાં મુશ્કેલી પડી રહી છે. કેટલાક લોકો એટલે સાડા ત્રણ અબજ.

1:06 18:51, ન્યૂ યોર્ક ટાઇમ્સ: કર્મચારીઓ તેમની ઇમારતોમાંથી લોક થઈ ગયા છે, બેજ મૃત્યુ પામ્યા છે. 19:52, CTO માફી માંગે છે. 21:00, પાંચ કલાક પછી, રૂટ્સ પાછા ફરે છે; 21:20, facebook.com રિઝોલ્વ થાય છે. બેકબોન ખામી ફેસબુકને ઇન્ટરનેટ પરથી શા માટે ડિલીટ કરે છે?

પદ્ધતિ: હેલ્થ ચેક જે તમને ડિલીટ કરે છે, 30× DNS સ્ટોર્મ, દરવાજા

1:20 તેના નેમ સર્વરમાં એક નિયમ છે: ડેટા સેન્ટર સુધી પહોંચી શકતા નથી, પોતાને અસ્વસ્થ જાહેર કરો, તમારું સરનામું જાહેરાત કરવાનું બંધ કરો. જ્યારે એક સાઇટ ખરાબ થાય ત્યારે સમજદારીભર્યું. જ્યારે આખો બેકબોન જાય છે, ત્યારે દરેક નેમ સર્વર એકસાથે તે કરે છે. સર્વર ચાલુ છે. કોઈ તેમને શોધી શકતું નથી. એક સલામતી સુવિધા નેટવર્ક ખામીને અસ્તિત્વની ખામીમાં ફેરવે છે. પછી ઇન્ટરનેટ પર ભાર વધે છે: એપ્સ ફરી પ્રયાસ કરે છે, વપરાશકર્તાઓ ફરીથી લોડ કરે છે,

1:39 અને Cloudflare નો રિઝોલ્વર તેના સામાન્ય લોડના ત્રીસ ગણા જુએ છે, એવી સાઇટ માટે જે ત્યાં નથી. અને દરવાજા. સાધનો, આઉટ-ઓફ-બેન્ડ ઍક્સેસ, બેજ: સમાન નેટવર્ક. એન્જિનિયરો ડેટા સેન્ટર પર જાય છે, અંદર પ્રવેશી શકતા નથી, પછી ભૌતિક ઍક્સેસવાળા કોઈપણ સામે સખત રેક્સને મળે છે. હુમલાખોરને ધીમો કરવા માટે બનાવવામાં આવેલ, તે માલિકને પણ ધીમો પાડે છે. બેકબોન પાછું આવે છે; તેઓ ઇરાદાપૂર્વક ધીમે ધીમે ટ્રાફિક વધારે છે.

1:59 દરેક ડેટા સેન્ટર દસ મેગાવાટ છોડી દીધું છે, અને તેને એક પગલામાં ઉલટાવવું બીજો આઉટેજ છે.

git blame — વિભાજન

2:05 git blame. ફેસબુક, પંચાવન ટકા: આદેશનું ઓડિટ કરવામાં આવ્યું હતું, ઓડિટર પાસે બગ હતો, એક આદેશ દરેક રાઉટર સુધી પહોંચ્યો. DNS ડિઝાઇન, પચીસ: પ્રમાણની સમજ વિનાનો હેલ્થ ચેક. એક નેટવર્ક, પંદર: સાધનો, આઉટ-ઓફ-બેન્ડ, બેજ. રેક્સ, પાંચ, તેમનું કામ કરવા માટે. બ્લાસ્ટ રેડિયસ: સાડા ત્રણ અબજ વપરાશકર્તાઓ, લગભગ છ કલાક. સ્ટોક પાંચ ટકા નીચે બંધ થાય છે, ઝુકરબર્ગના છ અબજ ઓછા,

બ્લાસ્ટ રેડિયસ

2:27 કાગળ પર. ટેલિગ્રામ તે દિવસે સિત્તેર મિલિયન સાઇન-અપનો દાવો કરે છે. ચુકાદો, પોસ્ટમોર્ટમ: NEEDS REVIEW. તે જ સાંજનું નિવેદન, એક દિવસમાં નામવાળા લેખકનું પોસ્ટમોર્ટમ, ઓડિટ-ટૂલ બગ સાદા અંગ્રેજીમાં સ્વીકારવામાં આવ્યું.

ચુકાદો + સોમવારની લાઇન

2:38 ફિક્સ સૂચિ: પરીક્ષણ અને ડ્રીલને મજબૂત કરો. પ્રોડક્શન નેટવર્ક પરથી દરવાજા હટાવવા વિશે કંઈ નથી. સોમવાર: તમારી આઉટ-ઓફ-બેન્ડ ઍક્સેસ, અને તમારા દરવાજાને, એક નેટવર્ક પર મૂકો જે તમે ઓપરેટ કરતા નથી. તમે હજુ પણ જેના વિશે વાત કરી શકતા નથી તે ઘટના મને મોકલો, ટિપ્પણીઓમાં, અથવા daily diff dot dev પર. અને આ આજનો ડિફ છે. હું એક્સ્રિસીનો નિકો છું.

2:58 જવાબદારીપૂર્વક મર્જ કરો.

સ્ત્રોતો

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com