+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

ఫేస్‌బుక్ ఇంటర్నెట్ నుండి తనను తాను తొలగించుకుంది. ఆరు గంటలు.

ఫేస్‌బుక్ తన అడ్రస్‌ను ఇంటర్నెట్ నుండి తొలగించింది, మరియు దాని ఇంజనీర్లు దాన్ని తిరిగి పెట్టడానికి వచ్చినప్పుడు, బ్యాడ్జ్ రీడర్‌లు కూడా పనిచేయలేదు, ఎందుకంటే అవి ఫేస్‌బుక్‌పై పనిచేస్తాయి.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

ఫేస్‌బుక్ తన అడ్రస్‌ను ఇంటర్నెట్ నుండి తొలగించింది, మరియు దాని ఇంజనీర్లు దాన్ని తిరిగి పెట్టడానికి వచ్చినప్పుడు, బ్యాడ్జ్ రీడర్‌లు కూడా పనిచేయలేదు, ఎందుకంటే అవి ఫేస్‌బుక్‌పై పనిచేస్తాయి. అక్టోబర్ 4, 2021, 15:40 UTC: ఒక సాధారణ బ్యాక్‌బోన్-నిర్వహణ ఆదేశం ఫేస్‌బుక్ డేటా సెంటర్‌ల మధ్య ప్రతి లింక్‌ను తీసివేసింది; దాన్ని నిరోధించడానికి నిర్మించిన ఆడిట్ టూల్‌లో బగ్ ఉంది; డేటా సెంటర్‌లకు చేరుకోలేని ఫేస్‌బుక్ పేరు సర్వర్‌లు, డిజైన్ ప్రకారం తమ సొంత BGP రూట్‌లను ఉపసంహరించుకున్నాయి — మరియు facebook.com, Instagram, WhatsApp మరియు Messenger దాదాపు ఆరు గంటల పాటు DNS నుండి అదృశ్యమయ్యాయి. అంతర్గత సాధనాలు, అవుట్-ఆఫ్-బ్యాండ్ యాక్సెస్ మరియు ఆఫీస్ బ్యాడ్జ్‌లు అదే నెట్‌వర్క్‌లో ప్రయాణిస్తాయి, కాబట్టి పరిష్కారం కోసం రాక్‌ల వద్ద ప్రజలు అవసరం.

వ్రాతపూర్వక సంచికను చదవండి (ఇంగ్లీష్) ↗

ఈ వీడియో ఏమి కవర్ చేస్తుంది

  • ఫేస్‌బుక్ తన స్వంత చిరునామాను తొలగిస్తుంది
  • రశీదులు: Meta Engineering, Cloudflare, Hacker News
  • ఇది The Daily Diff, పోస్ట్‌మార్టం
  • టైమ్‌లైన్: 15:39 ఆదేశం → 15:40 ఉపసంహరణ → 21:20 తిరిగి
  • విధానం: మిమ్మల్ని తొలగించే హెల్త్ చెక్, 30× DNS తుఫాను, తలుపులు

ప్రశ్నలు మరియు సమాధానాలు

అక్టోబర్ 2021లో Facebook, Instagram మరియు WhatsApp అంతరాయానికి కారణం ఏమిటి?

సాధారణ బ్యాక్‌బోన్ నిర్వహణ కమాండ్ Facebook డేటా సెంటర్ల మధ్య ప్రతి లింక్‌ను నిలిపివేసింది మరియు అలాంటి కమాండ్‌లను నిరోధించడానికి ఉద్దేశించిన ఆడిట్ టూల్‌లో బగ్ ఉంది. మెటా ఇంజనీరింగ్ వ్రాతపూర్వక నివేదిక ప్రకారం, అది డేటా సెంటర్లను ఒకదానికొకటి వేరు చేసింది. 15:40 UTC నాటికి Cloudflare Facebook పేరు సర్వర్‌లకు మార్గాలను ఉపసంహరించుకున్నట్లు చూసింది మరియు facebook.com 21:20కి మళ్లీ పరిష్కరించబడే వరకు SERVFAILని తిరిగి ఇచ్చింది.

ఈ భాగాన్ని చూడండి 0:40 · engineering.fb.com · blog.cloudflare.com

Facebook యొక్క DNS సర్వర్లు ఇంటర్నెట్ నుండి తమను తాము ఎందుకు తొలగించుకున్నాయి?

డేటా సెంటర్లను చేరుకోనప్పుడు వాటి స్వంత BGP మార్గాలను ఉపసంహరించుకోవడానికి పేరు సర్వర్‌లు రూపొందించబడ్డాయి. ఒక సైట్ విఫలమైనప్పుడు ఆ నియమం సహేతుకమైనది. మొత్తం బ్యాక్‌బోన్ విఫలమైనప్పుడు, ప్రతి పేరు సర్వర్ ఒకేసారి అనారోగ్యకరమైనదని ప్రకటించి, దాని చిరునామాను ప్రకటించడం ఆపివేసింది. సర్వర్లు ఇంకా నడుస్తున్నాయి, కానీ ఎవరూ వాటిని కనుగొనలేకపోయారు.

ఈ భాగాన్ని చూడండి 1:20 · engineering.fb.com · blog.cloudflare.com

Facebook ఇంజనీర్లు అంతరాయాన్ని రిమోట్‌గా ఎందుకు పరిష్కరించలేకపోయారు?

అంతర్గత సాధనాలు, అవుట్-ఆఫ్-బ్యాండ్ యాక్సెస్ మరియు ఆఫీస్ బ్యాడ్జ్ రీడర్‌లు అన్నీ విఫలమైన అదే నెట్‌వర్క్‌లో నడిచాయి. ఇంజనీర్లు డేటా సెంటర్లకు వెళ్లవలసి వచ్చింది, అక్కడ ర్యాక్‌లు భౌతికంగా యాక్సెస్ ఉన్న ఎవరికైనా వ్యతిరేకంగా కఠినంగా ఉండేవి. ది న్యూయార్క్ టైమ్స్ నివేదించిన ప్రకారం, 18:51 UTCకి ఉద్యోగులు డెడ్ బ్యాడ్జ్‌లతో భవనాల నుండి లాక్ చేయబడ్డారు.

ఈ భాగాన్ని చూడండి 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Facebook అంతరాయం మిగిలిన ఇంటర్నెట్‌ను ఎలా ప్రభావితం చేసింది?

యాప్‌లు మళ్లీ ప్రయత్నించాయి మరియు వినియోగదారులు మళ్లీ లోడ్ చేసారు, కాబట్టి Cloudflare యొక్క రిజాల్వర్ చేరుకోలేని సైట్ కోసం సాధారణ లోడ్‌లో ముప్పై రెట్లు చూసింది. ఈ సంఘటన దాదాపు ఆరు గంటల పాటు మూడున్నర బిలియన్ల వినియోగదారులకు ప్రభావాన్ని చూపింది. ఆ రోజు Telegram డెబ్బై మిలియన్ల సైన్-అప్‌లను క్లెయిమ్ చేసిందని కూడా నివేదించింది.

ఈ భాగాన్ని చూడండి 2:25 · blog.cloudflare.com · www.reuters.com

Facebook యొక్క పోస్ట్‌మార్టమ్ అంతరాయం వెనుక ఉన్న మూల సమస్యలను పరిష్కరించిందా?

ది డైలీ డిఫ్ తీర్పు NEEDS REVIEW. Facebook అదే సాయంత్రం ఒక ప్రకటన విడుదల చేసింది, ఒక రోజులో పేరున్న రచయిత పోస్ట్‌మార్టమ్‌ను ప్రచురించింది మరియు ఆడిట్-టూల్ బగ్‌ను స్పష్టమైన ఆంగ్లంలో అంగీకరించింది. దాని పరిష్కార జాబితా బలమైన పరీక్షలు మరియు డ్రిల్స్‌పై దృష్టి సారించింది మరియు ఉత్పత్తి నెట్‌వర్క్ నుండి తలుపులు తొలగించడం గురించి ఏమీ చెప్పలేదు. మీరు ఆపరేట్ చేయని నెట్‌వర్క్‌లో అవుట్-ఆఫ్-బ్యాండ్ యాక్సెస్‌ను ఉంచాలని ఈ ఎపిసోడ్ సలహా ఇస్తుంది.

ఈ భాగాన్ని చూడండి 2:38 · engineering.fb.com · engineering.fb.com

అనువదించబడిన ట్రాన్స్క్రిప్ట్

అసలైన ఆంగ్ల కథనం నుండి అనువదించబడింది. అందుబాటులో ఉన్న ఆడియో మరియు క్యాప్షన్లు YouTube ద్వారా నియంత్రించబడతాయి.

ఫేస్‌బుక్ తన స్వంత చిరునామాను తొలగిస్తుంది

0:00 ఫేస్‌బుక్ ఇంటర్నెట్ నుండి తన స్వంత చిరునామాను తొలగిస్తుంది, మరియు దాని ఇంజనీర్లు దాన్ని తిరిగి పెట్టడానికి వచ్చినప్పుడు, బ్యాడ్జ్ రీడర్‌లు కూడా పనిచేయలేదు, ఎందుకంటే అవి ఫేస్‌బుక్‌పై పనిచేస్తాయి. మెటా సొంత పోస్ట్‌మార్టం, మరుసటి రోజు: ఒక సాధారణ నిర్వహణ ఆదేశం ప్రతి బ్యాక్‌బోన్ లింక్‌ను తొలగిస్తుంది, మరియు అలాంటి ఆదేశాలను నిరోధించడానికి నిర్మించిన సాధనంలో బగ్ ఉంది.

రశీదులు: Meta Engineering, Cloudflare, Hacker News

0:16 క్లౌడ్‌ఫ్లేర్, బయటి నుండి: 15:40 UTC వద్ద ఫేస్‌బుక్ పేరు సర్వర్‌ల మార్గాలు అదృశ్యమయ్యాయి, మరియు dig facebook.com గ్రహంపై ప్రతిచోటా SERVFAIL అని తిరిగి ఇచ్చింది. ఇది ఎలా జరుగుతుంది, ఒక భద్రతా లక్షణం దానిని ఎందుకు మరింత దారుణంగా చేస్తుంది, మరియు ఎవరు నిందను పొందుతారు. ఇది The Daily Diff, పోస్ట్‌మార్టం. మధ్యాహ్నం ప్రారంభంలో, UTC.

ఇది The Daily Diff, పోస్ట్‌మార్టం

0:34 ఖాళీ బ్యాక్‌బోన్ సామర్థ్యాన్ని తనిఖీ చేయడానికి ఉద్దేశించిన ఆదేశం బదులుగా ప్రతి లింక్‌ను ఫేస్‌బుక్ డేటా సెంటర్‌ల మధ్య తొలగిస్తుంది, మరియు సరిగ్గా దీన్ని పట్టుకోవడానికి నిర్మించిన ఆడిట్ సాధనం

టైమ్‌లైన్: 15:39 ఆదేశం → 15:40 ఉపసంహరణ → 21:20 తిరిగి

0:41 దానిని ఆమోదిస్తుంది. 15:40. క్లౌడ్‌ఫ్లేర్ BGP ఫీడ్ ఉపసంహరణలతో నిండిపోయింది; ఫేస్‌బుక్ DNS ప్రిఫిక్స్‌లు రూటింగ్ పట్టికను వదిలివేశాయి. ఒక నిమిషంలో క్లౌడ్‌ఫ్లేర్ ఇంజనీర్లు ఒక గదిలో వారు 1.1.1.1ని పాడుచేసారా అని ఆశ్చర్యపోతున్నారు. 15:45, హ్యాకర్ న్యూస్, ఇరవై ఆరు వందల పాయింట్లు. 16:07, ఫేస్‌బుక్ ప్రతినిధి, అన్ని ప్రదేశాలలో Twitterలో: కొంతమంది మా యాప్‌లను యాక్సెస్ చేయడంలో ఇబ్బంది పడుతున్నారు. కొంతమంది అంటే మూడున్నర బిలియన్లు.

1:06 18:51, ది న్యూయార్క్ టైమ్స్: ఉద్యోగులు వారి భవనాల నుండి లాక్ చేయబడ్డారు, బ్యాడ్జ్‌లు పనికిరానివి. 19:52, CTO క్షమాపణలు చెప్పాడు. 21:00, ఐదు గంటల్లో, మార్గాలు తిరిగి వచ్చాయి; 21:20, facebook.com పరిష్కరించబడింది. ఒక బ్యాక్‌బోన్ లోపం ఫేస్‌బుక్‌ను ఇంటర్నెట్ నుండి ఎందుకు తొలగిస్తుంది?

విధానం: మిమ్మల్ని తొలగించే హెల్త్ చెక్, 30× DNS తుఫాను, తలుపులు

1:20 దాని పేరు సర్వర్‌లకు ఒక నియమం ఉంది: డేటా సెంటర్‌లకు చేరుకోలేవు, మిమ్మల్ని మీరు అనారోగ్యంగా ప్రకటించుకోండి, మీ చిరునామాను ప్రచారం చేయడం ఆపండి. ఒక సైట్ చెడిపోయినప్పుడు సమంజసం. మొత్తం బ్యాక్‌బోన్ వెళ్ళినప్పుడు, ప్రతి పేరు సర్వర్ ఒకేసారి చేస్తుంది. సర్వర్‌లు పనిచేస్తున్నాయి. ఎవరూ వాటిని కనుగొనలేరు. ఒక భద్రతా లక్షణం నెట్‌వర్క్ లోపాన్ని ఉనికి లోపంగా మారుస్తుంది. అప్పుడు ఇంటర్నెట్ పోగుపడుతుంది: యాప్‌లు మళ్లీ ప్రయత్నిస్తాయి, వినియోగదారులు మళ్లీ లోడ్ చేస్తారు,

1:39 మరియు క్లౌడ్‌ఫ్లేర్ రిజాల్వర్ దాని సాధారణ లోడ్ కంటే ముప్పై రెట్లు చూస్తుంది, అక్కడ లేని సైట్ కోసం. మరియు తలుపులు. సాధనాలు, అవుట్-ఆఫ్-బ్యాండ్ యాక్సెస్, బ్యాడ్జ్‌లు: అదే నెట్‌వర్క్. ఇంజనీర్లు డేటా సెంటర్‌లకు డ్రైవ్ చేస్తారు, లోపలికి రాలేరు, ఆపై భౌతిక యాక్సెస్ ఉన్న ఎవరికీ వ్యతిరేకంగా గట్టిపడిన రాక్‌లను కలుస్తారు. దాడి చేసేవారిని నెమ్మదింపచేయడానికి నిర్మించబడింది, అది యజమానిని కూడా నెమ్మదింపచేస్తుంది. దాడి చేసేవారిని నెమ్మదింపచేయడానికి నిర్మించబడింది, అది యజమానిని కూడా నెమ్మదింపచేస్తుంది. బ్యాక్‌బోన్ తిరిగి వస్తుంది; వారు ఉద్దేశపూర్వకంగా నెమ్మదిగా ట్రాఫిక్‌ను పెంచుతారు.

1:59 ప్రతి డేటా సెంటర్ పదుల మెగావాట్లను తగ్గించింది, మరియు దాన్ని ఒకే దశలో తిరగివేయడం రెండవ అంతరాయం.

git blame — విభజన

2:05 git blame. ఫేస్‌బుక్, యాభై ఐదు శాతం: ఆదేశం ఆడిట్ చేయబడింది, ఆడిటర్‌కు బగ్ ఉంది, ఒక ఆదేశం ప్రతి రౌటర్‌కు చేరుకుంది. DNS డిజైన్, ఇరవై ఐదు: నిష్పత్తి లేని హెల్త్ చెక్. ఒక నెట్‌వర్క్, పదిహేను: సాధనాలు, అవుట్-ఆఫ్-బ్యాండ్, బ్యాడ్జ్‌లు. రాక్‌లు, ఐదు, వారి పని చేస్తున్నందుకు. బ్లాస్ట్ వ్యాసార్థం: మూడున్నర బిలియన్ల వినియోగదారులు, దాదాపు ఆరు గంటలు. షేరు ఐదు శాతం తగ్గి, జుకర్‌బర్గ్ నుండి ఆరు బిలియన్లు తగ్గింది,

బ్లాస్ట్ వ్యాసార్థం

2:27 కాగితంపై. టెలిగ్రామ్ ఆ రోజు డెబ్బై మిలియన్ల సైన్-అప్‌లను క్లెయిమ్ చేస్తుంది. తీర్పు, పోస్ట్‌మార్టం: NEEDS REVIEW. అదే సాయంత్రం ప్రకటన, ఒక రోజులో పేరున్న-రచయిత పోస్ట్‌మార్టం, ఆడిట్-టూల్ బగ్ స్పష్టమైన ఆంగ్లంలో అంగీకరించబడింది.

తీర్పు + సోమవారం లైన్

2:38 పరిష్కార జాబితా: పరీక్ష మరియు డ్రిల్స్‌ను బలోపేతం చేయండి. ఉత్పత్తి నెట్‌వర్క్ నుండి తలుపులను తీసివేయడం గురించి ఏమీ లేదు. సోమవారం: మీ అవుట్-ఆఫ్-బ్యాండ్ యాక్సెస్, మరియు మీ తలుపు, మీరు నిర్వహించని నెట్‌వర్క్‌లో ఉంచండి. మీరు ఇంకా మాట్లాడటానికి అనుమతించబడని సంఘటనను నాకు పంపండి, కామెంట్లలో, లేదా the daily diff dot dev వద్ద. మరియు ఈ రోజుకు ఇదే డిఫ్. మరియు ఈ రోజుకు ఇదే డిఫ్. నేను Axrisi నుండి Nikoని.

2:58 బాధ్యతాయుతంగా విలీనం చేయండి.

మూలాలు

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

సంబంధిత వీడియోలు

postmortem · te · 19 సెప్టెం, 2026

ఖాళీ క్షేత్రంలో గూగుల్ క్లౌడ్ క్రాష్ అయింది. మూడు గంటలు.

కొన్ని ఖాళీ క్షేత్రాలతో కూడిన పాలసీ అడ్డువరుస నల్ పాయింటర్‌ని తాకింది, మరియు గూగుల్ క్లౌడ్ ఒకేసారి అన్ని ప్రాంతాలలో క్రాష్ అయ్యింది — ఆ తర్వాత క్లౌడ్‌ఫ్లేర్ కూడా పడిపోయింది. జూన్ 12, 2025, 17:49 UTC:

2:57 ↗
postmortem · te · 25 సెప్టెం, 2026

ఒక మిల్లీసెకను బగ్ UK విమాన ట్రాఫిక్‌ను ఆపింది. ఆరు గంటలు.

సెప్టెంబర్ 8, మంగళవారం 10:00 గంటలకు, NATS యొక్క నేషనల్ ఎయిర్‌స్పేస్ సిస్టమ్ (NAS) లోపల ఒక సాధారణ స్క్వాక్-కోడ్ అభ్యర్థన ఒక విలువను అప్‌డేట్ చేస్తున్నప్పుడు అధిక-ప్రాధాన్యత సందేశం ద్వారా అంతరాయం కలిగిం

3:06 ↗
postmortem · te · 22 సెప్టెం, 2026

రీబూట్ టెల్స్ట్రాను 2006కి పంపింది. తొంభై లక్షల ఫోన్‌లు.

మెల్‌బోర్న్‌లోని ఒక ఇంజనీర్ తెల్లవారుజామున 2:50కి ఒక టైమింగ్ ఛాసిస్‌ను తిరిగి ఆన్ చేస్తారు, అల్పాహారం సమయానికి ఆస్ట్రేలియాలోని అతిపెద్ద మొబైల్ నెట్‌వర్క్ అది నవంబర్ 2006 అని అంగీకరిస్తుంది. జూలై 8, 20

3:15 ↗
postmortem · te · 12 సెప్టెం, 2026

ఒక రెగ్యులర్ ఎక్స్‌ప్రెషన్ క్లౌడ్‌ఫ్లేర్‌ను డౌన్ చేసింది. 27 నిమిషాలు.

జూలై 2, 2019, 13:42 UTC: క్లౌడ్‌ఫ్లేర్ వెబ్ అప్లికేషన్ ఫైర్‌వాల్ కోసం ఒక కొత్త నియమం 180+ నగరాల్లో సుమారు రెండు సెకన్లలో ప్రత్యక్షమవుతుంది. ఇది సిమ్యులేట్ మోడ్‌లో ఒక XSS నియమం, కాబట్టి ఇది దేనినీ నిరో

3:00 ↗