మెటాకు మీ వెబ్సైట్ కావాలి. మీ Facebook పేజీయే దానికి కీలకం.
మెటా యొక్క రాబోయే అక్టోబర్ 30, 2026 వాణిజ్య నిబంధనలు వ్యాపార వినియోగదారులను అనుబంధ వెబ్సైట్లను క్రాల్ చేయడానికి మరియు కంటెంట్ను ఉత్పత్తులకు శిక్షణ ఇవ్వడానికి అనుమతిని స్పష్టంగా అడుగుతున్నాయి.
మెటా యొక్క రాబోయే అక్టోబర్ 30, 2026 వాణిజ్య నిబంధనలు వ్యాపార వినియోగదారులను అనుబంధ వెబ్సైట్లను క్రాల్ చేయడానికి మరియు కంటెంట్ను ఉత్పత్తులకు శిక్షణ ఇవ్వడానికి అనుమతిని స్పష్టంగా అడుగుతున్నాయి. మేము పేజీ నుండి వెబ్సైట్ అనుమతి, ప్రచురణకర్త యొక్క ప్రేక్షకుల ఆధారపడటం, క్రాలింగ్ మారదు అని మెటా యొక్క ప్రతిస్పందన మరియు దాని శిక్షణ మరియు వినియోగదారు అభ్యర్థించిన క్రాలర్ల యొక్క ప్రత్యేక పాత్రలను పరిశీలిస్తాము.
వ్రాతపూర్వక సంచికను చదవండి (ఇంగ్లీష్) ↗
ఈ వీడియో ఏమి కవర్ చేస్తుంది
- రాబోయే వాణిజ్య నిబంధనలు అక్టోబర్ 30, 2026 నుండి అమలులోకి వస్తాయి మరియు యాప్లు, ప్రకటనలు మరియు పేజీని నిర్వహించడంతో సహా వ్యాపార లేదా వాణిజ్య ఉపయోగాలకు వర్తిస్తాయి; అవి అన్ని సాధారణ వ్యక్తిగత Facebook ఉపయోగాలను వివరించవు.
- ప్రాథమిక ప్రివ్యూ వెబ్సైట్ క్రాలింగ్, ఆవర్తన అప్డేట్లు, పరీక్షా ఆధారాలు మరియు సేకరించిన కంటెంట్ను కవర్ చేయబడిన ఉత్పత్తులకు శిక్షణ ఇవ్వడానికి ఉపయోగాన్ని స్పష్టంగా కలిగి ఉంటుంది. ఇవి అభ్యర్థించిన అనుమతులు, న్యాయ తీర్పు లేదా కాపీరైట్ యాజమాన్య బదిలీ కాదు.
- మెటా నిమన్ ల్యాబ్కు ఈ అప్డేట్ ఇప్పటికే ఉన్న నిబంధనలను పటిష్టం చేస్తుందని, భవిష్యత్ ప్రచురణకర్త క్రాలింగ్ను మార్చదని మరియు robots.txt నియంత్రణలను సంరక్షిస్తుందని చెప్పింది; న్యాయ నిపుణులు పరిష్కరించబడని ఒప్పంద ప్రశ్నలను చూస్తున్నారు.
- మెటా యొక్క క్రాలర్ డాక్యుమెంట్లు మెటా-ఎక్స్టర్నల్ ఏజెంట్ యొక్క శిక్షణ మరియు ఇండెక్సింగ్ పాత్రను మెటా-ఎక్స్టర్నల్ ఫెచర్ యొక్క వినియోగదారు-అభ్యర్థించిన వ్యక్తిగత లింక్ల నుండి వేరు చేస్తాయి. రెండవది ఈ అప్డేట్కు ముందు ఉన్న డాక్యుమెంట్ చేయబడిన robots.txt మినహాయింపును కలిగి ఉంది.
- క్రాలర్ ప్రాధాన్యతలు, సర్వర్ ప్రమాణీకరణ మరియు యాక్సెస్ లాగ్ల నుండి ఒప్పంద అధికారం మరియు మూడవ పక్ష కంటెంట్ హక్కులను విడిగా సమీక్షించండి. ప్రచురణకర్త స్టీఫెన్ బీల్ ఆలోచించిన నిష్క్రమణ ప్రేక్షకుల మార్పిడి వ్యయాన్ని వివరిస్తుంది.
అనువదించబడిన ట్రాన్స్క్రిప్ట్
అసలైన ఆంగ్ల కథనం నుండి అనువదించబడింది. అందుబాటులో ఉన్న ఆడియో మరియు క్యాప్షన్లు YouTube ద్వారా నియంత్రించబడతాయి.
Facebook పేజీ మీ వెబ్సైట్ను ఎందుకు చేరుకుంటుంది?
0:00 ఒక Facebook పేజీ మెటాకు మీ పోస్ట్లను ఇస్తుందని మీరు అనుకుంటున్నారు. దాని రాబోయే వ్యాపార నిబంధనలు మీ స్వంత వెబ్సైట్ను క్రాల్ చేయడానికి కూడా అనుమతిని అడుగుతాయి మరియు ఉత్పత్తులకు శిక్షణ ఇవ్వడానికి. ఈ వీడియోలో, సమ్మతిగా ఏమి పరిగణించబడుతుంది? మీరు దానిని బ్లాక్ చేయగలరా? మరియు ఎవరు ఎంపిక చేసుకోవడంలో ఇరుక్కుపోతారు? మరియు మీ బ్లాకింగ్ ఫైల్కు డాక్యుమెంట్ చేయబడిన మినహాయింపుతో క్రాలర్ కోసం ఉండండి. ఆ మినహాయింపు ఇప్పటికే ఉంది, మరియు దాని పని ముఖ్యం.
0:17 ఇది శుక్రవారం, అక్టోబర్ పదహారు, మరియు ఇది ది డైలీ డిఫ్. మెటా యొక్క వాణిజ్య నిబంధనలు వ్యాపారం కోసం దాని ఉత్పత్తులను ఉపయోగించడానికి నియమాలు. అవి ప్రకటనలను అమలు చేయడం, యాప్లను అభివృద్ధి చేయడం మరియు Facebook పేజీని నిర్వహించడంతో సహా కార్యకలాపాలను కవర్ చేస్తాయి. రాబోయే వెర్షన్ అనుబంధిత వెబ్సైట్లకు యాక్సెస్ను స్పష్టంగా అడుగుతుంది, ఇందులో మీరు స్వయంగా హోస్ట్ చేసే కంటెంట్ కూడా ఉంటుంది. ఒక ప్రచురణకర్త నోటీసును గుర్తించిన తర్వాత నిమన్ ల్యాబ్ ఈ గురువారం నివేదించింది. నియమాలు అక్టోబర్ ముప్పై నుండి ప్రారంభమవుతాయి, వ్యాపార వినియోగదారులకు మార్కెటింగ్ బ్రోచర్లో ఎవరూ చేర్చని అనుమతి స్లిప్ను చదవడానికి రెండు వారాలు ఇస్తాయి.
0:42 మెటా మరియు దాని తరపున పనిచేసే సంస్థలకు స్వయంచాలక సాఫ్ట్వేర్ను ఉపయోగించడానికి మీరు అధికారం ఇస్తున్నారు.
అనుమతి వాస్తవంగా దేనిని కవర్ చేస్తుంది?
0:47 ఈ పేరా స్క్రాపర్లు మరియు క్రాలర్లను పేర్కొంటుంది, ఆపై మీ ఉత్పత్తులు లేదా సేవలతో అనుబంధించబడిన డొమైన్లు మరియు పేజీలకు చేరుకుంటుంది. ఇది ఆవర్తన అప్డేట్లను అనుమతిస్తుంది, ఒకే స్నాప్షాట్కు మించి చేరుకుంటుంది. తదుపరి వాక్యం మెటా ఉత్పత్తులకు శిక్షణ ఇవ్వడాన్ని స్పష్టంగా కలిగి ఉంటుంది. ఆ పేరాలో లైసెన్సింగ్ చెల్లింపు లేదు, ఇది చాలా సరసమైన డేటా వ్యూహం. ముగ్గురు న్యాయ నిపుణులు నిమన్ కోసం నిబంధనలను సమీక్షించారు. కార్నెల్ ప్రొఫెసర్ జేమ్స్ గ్రిమ్మెల్మాన్ వాటిని ప్రచురణకర్తల సైట్లలో AI శిక్షణ కోసం అనుమతిగా చదువుతున్నారు, ఆ ప్రచురణకర్తలతో పోటీ పడటానికి అవకాశం ఉంది. మీ భవిష్యత్ ప్రత్యర్థిని ఆన్బోర్డింగ్ చేసినందుకు అభినందనలు.
1:14 తరువాత 'పరీక్షా ఆధారాలను సృష్టించండి' అనే పదం వస్తుంది. అది వాస్తవానికి టెక్స్ట్లో ఉంది.
ఒప్పందంలో టెస్ట్ ఆధారాలు ఎందుకు ప్రస్తావించారు?
1:19 రిజిస్ట్రేషన్ గోడను దాటి వెళ్ళడానికి నమోదు చేసుకోవడం దీని అర్థం కావచ్చని గ్రిమ్మెల్మాన్ చెబుతున్నారు, ఇది ఈ అనుమతిని అసాధారణంగా ప్రతిష్టాత్మకంగా చేస్తుంది. చెల్లింపు కంటెంట్ గురించి నిమన్ ప్రశ్నను మెటా తిరస్కరించింది. ఇక్కడ ధృవీకరించబడిన పేవాల్ బైపాస్ ఏదీ స్థాపించబడలేదు. రిజిస్ట్రేషన్, చెల్లింపు మరియు చట్టపరమైన అధికారాన్ని వేర్వేరు పెట్టెల్లో ఉంచండి; ఒప్పందం యొక్క విశ్వాసం చాలా తక్కువ రుజువు చేస్తుంది. ది స్టీమ్పంక్ ఎక్స్ప్లోరర్ సంపాదకుడు స్టీఫెన్ బీల్ హెచ్చరికను లేవనెత్తారు. అతని పాఠకులు Facebookలో పాతుకుపోయారు. వదిలివేయడం వల్ల తన స్వతంత్ర సైట్కు ప్రజలను పంపే సంఘం కోల్పోవచ్చు,
1:40 చాలా మంచి టోపీలతో సహా. డెవలపర్లకు పరిధి ముఖ్యం. ప్రకటనలతో పాటు యాప్లను అభివృద్ధి చేయడం మరియు పేజీలను నిర్వహించడం కూడా ప్రారంభంలో ఉన్నాయి.
వాణిజ్య నిబంధనలలో ఎవరు వస్తారు?
1:48 ఒక చిన్న కంపెనీ కూడా ఈ ప్రశ్నను ఎదుర్కోవచ్చు, అది AI ఉత్పత్తిని ఎప్పుడూ కొనుగోలు చేయకపోయినా. ఏజెన్సీలు కూడా ప్రస్తావించబడ్డాయి. మూడవ పక్షం తరపున పనిచేసే వ్యక్తులు ఆ పక్షాన్ని కట్టడి చేయగలరని సూచిస్తున్నారు. వారు లైసెన్స్ కోసం అవసరమైన హక్కులను కూడా కోరతారు. మీ సోషల్ మీడియా కాంట్రాక్టర్ అకస్మాత్తుగా హోంవర్క్ కలిగి ఉంటాడు. ఒక వెబ్సైట్లో లైసెన్స్డ్ ఫోటోలు లేదా సిండికేటెడ్ రిపోర్టింగ్ ఉన్నప్పుడు అది ముఖ్యం. ఒకే పేజీలో వేర్వేరు వ్యక్తులు వేర్వేరు హక్కులను నియంత్రించగలరు.
2:07 ప్లాట్ఫారమ్ ఒప్పందం కంపెనీలో ఒక నిజమైన యజమానికి ఉండాలి, పాస్వర్డ్ను ఇంకా గుర్తుంచుకున్న ఇంటర్న్ ఎవరైనా కాకుండా. కాబట్టి సమ్మతిగా ఏమి పరిగణించబడుతుంది? అప్డేట్ల క్లాజ్ నోటీసు తర్వాత వాణిజ్య యాక్సెస్ లేదా వినియోగాన్ని కొనసాగించడం మిమ్మల్ని సవరించిన నిబంధనలకు కట్టుబడి ఉండేలా చేస్తుందని చెబుతోంది. నిమన్ గడువుకు ముందు ప్రత్యేక ఆప్ట్ అవుట్ ఏదీ నివేదించలేదు. అందించిన నిష్క్రమణ వాణిజ్య వినియోగాన్ని ఆపడం.
2:27 ప్రస్తుత వాణిజ్య పేజీ ఇప్పటికే దాని ఉత్పత్తులలో లేదా వాటికి సంబంధించి భాగస్వామ్యం చేయబడిన కంటెంట్ను లైసెన్స్ ఇస్తుంది.
మెటా ఏమి మారుతుంది అని చెబుతోంది?
2:32 రాబోయే పేజీ కొత్త పేరాలో వెబ్సైట్ క్రాలింగ్ను వివరిస్తుంది. ఇతర అనుబంధ ఒప్పందాలు కూడా ముఖ్యమైనవి. మెటా నిమన్కు ఇది గతంలో నిబంధనలలో చెల్లాచెదురుగా ఉన్న భాషను పటిష్టం చేస్తుందని చెప్పింది, జెనరేటివ్ అడ్వర్టైజింగ్ నిబంధనలతో సహా. దాని ప్రతినిధి ఇది భవిష్యత్ ప్రచురణకర్త క్రాలింగ్ను మార్చదని చెబుతున్నారు. అది ఒక ముఖ్యమైన హామీ, మరియు అది ముఖ్యమైన అనుమతి పక్కన ఉండాలి. మెటా కంటెంట్ యజమానులు ఇప్పటికీ రోబోట్స్ డాట్ టెక్స్ట్తో యాక్సెస్ను నిర్వహించగలరని కూడా చెబుతోంది.
2:48 దాని డెవలపర్ డాక్యుమెంటేషన్ అనేక క్రాలర్ ఉద్యోగాలను వేరు చేస్తుంది, కాబట్టి పేర్లతో ప్రారంభించండి. తప్పు బాట్ను బ్లాక్ చేయడం absolutely ఏమీ సాధించడానికి అత్యంత సమర్థవంతమైన మార్గం.
robots.txt ఇప్పటికీ క్రాలర్లను నియంత్రించగలదా?
3:00 బాహ్య ఏజెంట్ క్రాలర్ ఫౌండేషన్ మోడల్ శిక్షణ మరియు ఇండెక్సింగ్ కోసం సేకరించినట్లు డాక్యుమెంట్ చేయబడింది. బాహ్య ప్రకటనల క్రాలర్ ప్రకటనల ఉపయోగాలు కలిగి ఉంది. మెటా సూచనలు ప్రతిదానికి దాని స్వంత నియమాలను ఎలా ఇవ్వాలో చూపిస్తాయి, మార్పులు కాష్ చేయబడిన కాపీలకు చేరుకోవడానికి ఒక రోజు పట్టవచ్చు. బీల్ నిమన్కు గడువుకు ముందు తన ఖాతాలను మూసివేయడాన్ని seriusగా పరిగణిస్తున్నానని చెప్పాడు. అతను 'పరిశీలన దశ'కు చేరుకున్నాడు. ఇక్కడ భారీ ప్రచురణకర్తల వలసను నివేదించడం ప్రచురణకర్తలను కనుగొనడం అవసరం. సేవ్ చేయదగిన ఒక ఆచరణాత్మక వ్యత్యాసం ఉంది.
3:23 రోబోట్స్ నియమాలు క్రాలర్ ప్రాధాన్యతలను వ్యక్తం చేస్తాయి; సర్వర్ ప్రమాణీకరణ యాక్సెస్ను నియంత్రిస్తుంది. నిజమైన అధికార వెనుక ప్రైవేట్ కంటెంట్ను ఉంచండి, క్రాలర్ ట్రాఫిక్ను తనిఖీ చేయండి, మరియు వ్యాపారం కోసం ప్లాట్ఫారమ్ నిబంధనలను ఎవరు అంగీకరించగలరో సమీక్షించండి. ఇవి వేర్వేరు పనులు. మరియు ఒప్పంద అనుమతి మరొక పొర. నిమన్ ఉదహరించిన న్యాయవాదులు నిబంధనలు బ్లాకింగ్ సూచనలను అధిగమించగలవని మెటా వాదించడానికి అవకాశం ఉందని చూస్తున్నారు. అటార్నీ మాట్ టాపిక్ అమలు చేయగల సామర్థ్యం అస్పష్టంగా ఉందని చెప్పారు. ఒక ప్రివ్యూ పేజీ మాకు
3:46 ప్రతిపాదిత పదాలను ఇస్తుంది; కోర్టులు వివాదాస్పద పరిణామాలను నిర్ణయిస్తాయి. అసౌకర్యకరమైన భాగం పంపిణీ బేరం.
అనుమతి క్లెయిమ్ చట్టపరమైన ప్రశ్నను పరిష్కరిస్తుందా?
3:50 ఒక ప్రచురణకర్త మరొకరి ప్లాట్ఫారమ్లో ప్రేక్షకులను నిర్మించుకున్నారు, ఆపై ఆ వ్యాపార సంబంధాన్ని కొనసాగించడంలో వెబ్సైట్ అనుమతి అభ్యర్థనను పొందారు. ప్రేక్షకులే లివరేజ్, ఇది అన్సబ్స్క్రైబ్ బటన్ను చాలా ఖరీదైనదిగా చేస్తుంది. కాబట్టి ఒక క్రాలర్ లాగ్ మెటా అనే పదం కంటే ఎక్కువ సందర్భాన్ని కోరుతుంది. ఏ ఏజెంట్ వచ్చిందో మరియు అది ఏమి అభ్యర్థించిందో తనిఖీ చేయండి. ఒక సాంకేతిక బ్లాక్ మరియు ఒక ఒప్పంద సమీక్ష సమస్య యొక్క విభిన్న భాగాలను పరిష్కరిస్తాయి, మరియు ఏదీ కూడా భావాలకు అవుట్సోర్స్ చేయబడటానికి అర్హమైనది కాదు.
4:12 ఇప్పుడు నేను వాగ్దానం చేసిన మినహాయింపు. మెటా యొక్క బాహ్య ఫెచర్ వినియోగదారు అభ్యర్థనపై వ్యక్తిగత లింక్లను తిరిగి పొందుతుంది, మరియు దాని డాక్యుమెంటేషన్ అది రోబోట్స్ నియమాలను బైపాస్ చేయవచ్చని చెబుతుంది. అది శిక్షణ క్రాలర్ నుండి ఒక ప్రత్యేక డాక్యుమెంట్ చేయబడిన పాత్ర, మరియు ఈ హెచ్చరిక అక్టోబర్ నిబంధనలకు ముందు ఉంది. బీల్ నిబంధనలను ఖచ్చితంగా చదవగలడు మరియు బేరం నచ్చకపోవచ్చు.
ఏ బాట్కు డాక్యుమెంట్ చేయబడిన మినహాయింపు ఉంది?
4:28 ప్రచురణకర్తకు నడపడానికి ఒక ప్రచురణ ఉంది; ప్లాట్ఫారమ్కు మిగతా అందరి న్యాయ విభాగానికి మరొక చెక్బాక్స్ ఉంది. మీరు దీన్ని వినడం కంటే చదవాలనుకుంటే, డిఫ్ మీ ఇన్బాక్స్కు ప్రతి ఉదయం వస్తుంది, daily diff dot devలో ఉచితంగా, లింక్ కింద. కాబట్టి, నేటి తీర్పు, సమీక్ష అవసరం. నేను బండిల్ చేయబడిన వెబ్సైట్ శిక్షణ అనుమతిని వ్యాపార ప్రేక్షకులను ఉంచుకోవడానికి డిఫాల్ట్ ధరగా తిరస్కరిస్తాను. అక్టోబర్ ముప్పై తదుపరి షెడ్యూల్ చేయబడిన పోస్ట్కు ముందు ఒప్పందంపై నిజమైన మానవుడిని ఉంచడానికి తగినంత దగ్గరగా ఉంది. మరియు అది నేటి డిఫ్.
4:51 నేను ఆక్సిరిసి నుండి నికో.
తీర్పు: అనుమతి నిర్ణయం ఎవరిది?
4:54 బాధ్యతాయుతంగా విలీనం చేయండి. మెటాకు మీ వెబ్సైట్ కావాలి. మీ Facebook పేజీయే దానికి కీలకం. మెటా యొక్క రాబోయే అక్టోబర్ 30, 2026 వాణిజ్య నిబంధనలు వ్యాపార వినియోగదారులను అనుబంధ వెబ్సైట్లను క్రాల్ చేయడానికి మరియు కంటెంట్ను ఉత్పత్తులకు శిక్షణ ఇవ్వడానికి అనుమతిని స్పష్టంగా అడుగుతున్నాయి. మేము పేజీ నుండి వెబ్సైట్ అనుమతి, ప్రచురణకర్త యొక్క ప్రేక్షకుల ఆధారపడటం, క్రాలింగ్ మారదు అని మెటా యొక్క ప్రతిస్పందన మరియు దాని శిక్షణ మరియు వినియోగదారు అభ్యర్థించిన క్రాలర్ల యొక్క ప్రత్యేక పాత్రలను పరిశీలిస్తాము. నిమన్ ల్యాబ్ నివేదించిన ప్రకారం, మెటా యొక్క అక్టోబర్ 30 వాణిజ్య నిబంధనలు వ్యాపార వినియోగదారుల ఉత్పత్తులు లేదా సేవలతో అనుబంధించబడిన డొమైన్లు, పేజీలు మరియు URLల నుండి స్వయంచాలక సేకరణకు అధికారం ఇస్తాయి, ఇందులో పరీక్షా ఆధారాలు మరియు శిక్షణ ఉపయోగాలు కూడా ఉన్నాయి. పరిధిలో యాప్లను అభివృద్ధి చేయడం మరియు Facebook పేజీలను నిర్వహించడం వంటివి ఉన్నాయి, ప్రత్యేక నిబంధనల మినహాయింపులకు లోబడి ఉంటాయి. మెటా ఈ అప్డేట్ ఇప్పటికే ఉన్న భాషను పటిష్టం చేస్తుందని మరియు భవిష్యత్ ప్రచురణకర్త క్రాలింగ్ను మార్చదని, robots.txt నియంత్రణలు ఇప్పటికీ అందుబాటులో ఉంటాయని చెబుతోంది. నివేదికలో ఉదహరించిన న్యాయ నిపుణులు ఆ సూచనలు మరియు ఒప్పంద అనుమతి మధ్య పరస్పర చర్యను ప్రశ్నిస్తున్నారు, అయితే అమలు చేయగల సామర్థ్యం ఇంకా పరిష్కరించబడలేదు. ఈ సంఘటన మెటా-ఎక్స్టర్నల్ ఏజెంట్ యొక్క డాక్యుమెంట్ చేయబడిన శిక్షణ పాత్రను మెటా-ఎక్స్టర్నల్ ఫెచర్ యొక్క వినియోగదారు-అభ్యర్థించిన-లింక్ పాత్ర నుండి మరియు ముందే ఉన్న robots.txt మినహాయింపు నుండి కూడా వేరు చేస్తుంది. ఇది యాజమాన్య బదిలీని, కొత్త నిబంధనల క్రింద వాస్తవ శిక్షణను, లేదా ధృవీకరించబడిన పేవాల్ బైపాస్ను స్థాపించదు. రాబోయే వాణిజ్య నిబంధనలు అక్టోబర్ 30, 2026 నుండి అమలులోకి వస్తాయి మరియు యాప్లు, ప్రకటనలు మరియు పేజీని నిర్వహించడంతో సహా వ్యాపార లేదా వాణిజ్య ఉపయోగాలకు వర్తిస్తాయి; అవి అన్ని సాధారణ వ్యక్తిగత Facebook ఉపయోగాలను వివరించవు. ప్రాథమిక ప్రివ్యూ వెబ్సైట్ క్రాలింగ్, ఆవర్తన అప్డేట్లు, పరీక్షా ఆధారాలు మరియు సేకరించిన కంటెంట్ను కవర్ చేయబడిన ఉత్పత్తులకు శిక్షణ ఇవ్వడానికి ఉపయోగాన్ని స్పష్టంగా కలిగి ఉంటుంది. ఇవి అభ్యర్థించిన అనుమతులు, న్యాయ తీర్పు లేదా కాపీరైట్ యాజమాన్య బదిలీ కాదు. మెటా నిమన్ ల్యాబ్కు ఈ అప్డేట్ ఇప్పటికే ఉన్న నిబంధనలను పటిష్టం చేస్తుందని, భవిష్యత్ ప్రచురణకర్త క్రాలింగ్ను మార్చదని మరియు robots.txt నియంత్రణలను సంరక్షిస్తుందని చెప్పింది; న్యాయ నిపుణులు పరిష్కరించబడని ఒప్పంద ప్రశ్నలను చూస్తున్నారు. మెటా యొక్క క్రాలర్ డాక్యుమెంట్లు మెటా-ఎక్స్టర్నల్ ఏజెంట్ యొక్క శిక్షణ మరియు ఇండెక్సింగ్ పాత్రను మెటా-ఎక్స్టర్నల్ ఫెచర్ యొక్క వినియోగదారు-అభ్యర్థించిన వ్యక్తిగత లింక్ల నుండి వేరు చేస్తాయి. రెండవది ఈ అప్డేట్కు ముందు ఉన్న డాక్యుమెంట్ చేయబడిన robots.txt మినహాయింపును కలిగి ఉంది.



