கிளாட் செயல்திறன் குறைவதைக் கண்டறிவது எப்படி (உண்மையான தரவுகளுடன்)

இந்த வீடியோ எதைப் பற்றி விவாதிக்கிறது

• வெளியீட்டிற்குப் பிறகு கிளாட் மந்தமாகிறது: ஒரு நாள்-பூஜ்ய கடிகாரத்தை சந்திக்கிறது இந்த கோட்பாடு
• லைவ்னெர்ஃப்: வெளியீட்டு வாரத்திலிருந்து ஓபஸ் 5.5 இல் ஒரு 30-நாள் கண்காணிப்பு
• செயல்திறன் குறைவை எவ்வாறு கண்டறிவது: 78 சில சமயங்களில் சரியான கேள்விகள்
• அது எதைக் காண முடியும்: 7.5 புள்ளிகள், மற்றும் டோக்கன் எண்ணிக்கை முதலில் நகர்கிறது
• குருட்டுப் புள்ளி: ஒரு ஓபஸ் 5 இடமாற்றம் மற்றும் 8 தவறான விடை சாவிகள்

மொழிபெயர்க்கப்பட்ட டிரான்ஸ்கிரிப்ட்

அசல் ஆங்கில விளக்கத்திலிருந்து மொழிபெயர்க்கப்பட்டது. கிடைக்கும் ஆடியோ மற்றும் தலைப்புகள் YouTube ஆல் கட்டுப்படுத்தப்படுகின்றன.

வெளியீட்டிற்குப் பிறகு கிளாட் மந்தமாகிறது: ஒரு நாள்-பூஜ்ய கடிகாரத்தை சந்திக்கிறது இந்த கோட்பாடு

0:00 ஒவ்வொரு வெளியீட்டிற்குப் பிறகும் சில வாரங்களில் கிளாட் மந்தமாகிவிடுகிறது என்பது அனைவருக்கும் தெரியும். எனவே ஒரு டெவலப்பர் ஓபஸ் ஐந்தாம் புள்ளி ஐந்தாம் வெளியீட்டு வாரத்திலிருந்து ஒரு கண்காணிப்பில் வைத்தார், மற்றும் கடிகாரம் இதுவரை யாரும் அறிந்திருக்க முடியாது என்று கூறுகிறது. இந்த வீடியோவில், மூன்று கேள்விகள். ஒரு செயல்திறன் குறைவை நீங்கள் எவ்வாறு கண்டறிவீர்கள்? இந்த மீட்டர் எதைக் காண முடியும்? மற்றும் ஆந்த்ரோபிக் என்ன சொல்கிறது? மற்றும் களஞ்சியத்தின் வரவுகளில் ஒரு வரி என்னை சத்தமாக சிரிக்க வைத்தது.

0:20 நான் அதை இறுதியில் பெறுவேன். இது புதன், செப்டம்பர் முப்பதாம் தேதி, இது The Daily Diff. இன்று மூன்று கதைகள், மற்றும் பெரியது லைவ் நெர்ஃப் எனப்படும் ஒரு GitHub களஞ்சியம்.

லைவ்னெர்ஃப்: வெளியீட்டு வாரத்திலிருந்து ஓபஸ் 5.5 இல் ஒரு 30-நாள் கண்காணிப்பு

0:30 பல மாதங்களாக, வெளியீட்டிற்குப் பிறகு ஆந்த்ரோபிக் அதன் மாதிரிகளை ரகசியமாக குறைப்பதாக மக்கள் கூறி வருகின்றனர். வழக்கமான கோட்பாடுகள் ஒரு சுருக்கப்பட்ட மாதிரி, அதே பெயரில் ஒரு சிறிய மாதிரி அல்லது வெறுமனே குறைவான சிந்தனை. இதுவரை உள்ள ஒவ்வொரு வாதத்தையும் களஞ்சியம் 'வைப்ஸ் வெர்சஸ் வைப்ஸ்' என்று அழைக்கிறது. ஓபஸ் ஐந்தாம் புள்ளி ஐந்தாம் செப்டம்பர் இருபத்திரண்டாம் தேதி அனுப்பப்பட்டது, மற்றும் ஒரு வாரத்திற்கு முன்பு நான் உங்களுக்கு சொன்னேன் அது மூன்று மடங்கு சராசரி மாதிரியை விட அதிக வார்த்தைகளை எழுதி சுயாதீன பலகையை முதலிடம் பிடித்தது என்று. இரண்டரை நாட்களில், நிஞ்ஜா ஹாக் என்ற டெவலப்பர் கடிகாரத்தைத் தொடங்கினார்,

0:59 முப்பது நாட்களுக்கு ஒரு நாளைக்கு ஒருமுறை, யாரும் திருத்த முடியாத பதிவுகளுடன். ஹேக்கர் நியூஸ் திரி கிட்டத்தட்ட எண்ணூறு புள்ளிகளைப் பெற்று ஒரு அணி அரட்டை போல் பிரிந்தது. ஒருவர் பெரும்பாலான பதிவு செய்யப்பட்ட சந்தர்ப்பங்களில் மாதிரிகளை குறைப்பது உண்மை இல்லை என்று கூறுகிறார். மற்றவர் மக்கள் புதிய அளவிலான புத்திசாலித்தனத்திற்கு பழகிவிடுகிறார்கள் என்று கூறுகிறார். மற்றும் ஒரு கிளாட் குறியீட்டு சக்தி பயனர் இப்போது ஒவ்வொரு முறையும் இந்த அமர்வை மதிப்பிடுங்கள் என்ற பாப்-அப்-ஐ நிராகரிக்கிறார், ஏனெனில் கிளாட்டை மதிப்பிடுவது அதை மோசமாக்குவது போல் தோன்றியது. சம மதிப்பாய்வு. எனவே, கேள்வி ஒன்று, ஒரு செயல்திறன் குறைவை நீங்கள் எவ்வாறு கண்டறிவீர்கள்?

செயல்திறன் குறைவை எவ்வாறு கண்டறிவது: 78 சில சமயங்களில் சரியான கேள்விகள்

1:27 நீங்கள் சுமார் இருபத்தி மூன்று நூறு கடினமான தேர்வு கேள்விகளுடன் தொடங்குகிறீர்கள், மற்றும் ஓபஸ் முதல் முயற்சியில் தொண்ணூற்று மூன்று சதவீதம் சரியாகப் பெறுகிறது, இது ஒரு கண்டறிதலுக்கு பயனற்றது, ஏனெனில் அது எப்போதும் சரியாகப் பெறும் ஒரு கேள்வி குறைய முடியாது. தொண்ணூற்று ஏழு சதவீதம் எப்போதும் சரியாகவும் அல்லது எப்போதும் தவறாகவும் இருந்தது, மற்றும் அது சில சமயங்களில் மட்டுமே சரியாகப் பெறும் எழுபத்தி எட்டு கேள்விகள் குழுவாக மாறின. அதே ப்ராம்ட், கருவிகள் இல்லை, மற்றும் AI நீதிபதி இல்லாத துல்லியமான-பொருத்த மதிப்பெண், ஏனெனில் நீதிபதியும் சறுக்கும். இது ஹெட்லெஸ் கிளாட் குறியீடு மூலம் மேக்ஸ் சந்தாவில் இயங்குகிறது,

1:55 ஏனெனில் API பதிப்பின் விலை மாதத்திற்கு சுமார் ஆயிரத்து அறுநூறு டாலர்கள். மற்றும் கிளாட் குறியீட்டு பதிப்பு முடக்கப்பட்டுள்ளது, ஏனெனில், களஞ்சியத்தின் வார்த்தைகளில், மாற்றப்பட்ட கவசம் மாற்றப்பட்ட மாதிரி போல் தெரிகிறது. புள்ளிவிவரங்கள் ஆந்த்ரோபிக் நிறுவனத்தின் எவன் மில்லர் எழுதிய 'மதிப்பீடுகளுக்கு பிழை கோடுகளைச் சேர்த்தல்' என்ற ஆய்வுக் கட்டுரையில் இருந்து வந்தவை. ஆந்த்ரோபிக் நிறுவனத்தின் எவன் மில்லர் எழுதிய 'மதிப்பீடுகளுக்கு பிழை கோடுகளைச் சேர்த்தல்' என்ற ஆய்வுக் கட்டுரையில் இருந்து. எனவே ஆந்த்ரோபிக்கின் சொந்த கணிதம் இப்போது ஆந்த்ரோபிக்கை தணிக்கை செய்கிறது, இது ஒரு கல்விப் பதிப்பு வாடிக்கையாளர் ஆதரவிடம் சேவை விதிமுறைகளை மீண்டும் மேற்கோள் காட்டுவது போல.

அது எதைக் காண முடியும்: 7.5 புள்ளிகள், மற்றும் டோக்கன் எண்ணிக்கை முதலில் நகர்கிறது

2:19 கேள்வி இரண்டு, அது எதைக் காண முடியும்? பத்து நாள் சாளரத்திற்கு, சுமார் ஏழரை புள்ளிகள் குறைவு. கட்டுமானப் பணியை நிரூபிக்க, ஆசிரியர் கிளாட்டின் முயற்சியை வேண்டுமென்றே குறைத்தார். நடுத்தர முயற்சி வெளியீட்டை சுமார் கால் பகுதியாகவும், மதிப்பெண்ணை நான்கு புள்ளிகள் மட்டுமே குறைத்தது. குறைந்த முயற்சி வெளியீட்டை கிட்டத்தட்ட மூன்றில் இரண்டு பங்காக குறைத்தது, எட்டு புள்ளிகளுக்கு. அது திருட வேண்டிய பகுதி. குறைவான சிந்தனை பதில்களில் தோன்றுவதற்கு முன்பே டோக்கன் எண்ணிக்கையில் காட்டப்படுகிறது.

2:43 எனவே உங்கள் மாதிரி பதிப்பை முடக்கி, ஒவ்வொரு பணிக்கும் வெளியீட்டு டோக்கன்களைப் பதிவுசெய்து, மற்றும் உங்களின் சில உறைந்த கேள்விகளை வைத்திருங்கள். உங்கள் முகவர் திடீரென்று குறைவாக எழுதினால், ரெடிட்டைச் சரிபார்ப்பதற்கு முன் உங்கள் பதிவுகளைச் சரிபார்க்கவும். மற்றும் இது நேர்மையான பகுதி.

குருட்டுப் புள்ளி: ஒரு ஓபஸ் 5 இடமாற்றம் மற்றும் 8 தவறான விடை சாவிகள்

2:54 பழைய ஓபஸ் ஐந்தை ரகசியமாக மாற்றுவது கட்டுமானத்திற்கு மிகச் சிறிய மாற்றமாக இருந்தது அழைக்க, மற்றும் ரீட்மி ஆரம்பத்திலேயே அதைக் கூறுகிறது. இந்த தணிக்கை எட்டு தவறான விடை சாவிகளையும் கண்டறிந்தது, எனவே செயல்திறன் குறைவு கண்டறிப்பான் ஒரு செயல்திறன் குறைவைக் கண்டுபிடிப்பதற்கு முன்பே அளவுகோலில் பிழைகளைக் கண்டறிந்தது.

ஆந்த்ரோபிக்: நாங்கள் ஒருபோதும் மாதிரி தரத்தைக் குறைப்பதில்லை

3:08 கேள்வி மூன்று, ஆந்த்ரோபிக் என்ன சொல்கிறது? கடந்த ஆண்டு, புகார்களின் அலைக்குப் பிறகு, ஆந்த்ரோபிக் ஒரு பின்மரண அறிக்கையை வெளியிட்டது. அது, "தேவை, நாளின் நேரம் அல்லது சர்வர் சுமை காரணமாக நாங்கள் ஒருபோதும் மாதிரி தரத்தை குறைப்பதில்லை" என்று கூறுகிறது. தேவை, நாளின் நேரம் அல்லது சர்வர் சுமை காரணமாக நாங்கள் ஒருபோதும் மாதிரி தரத்தை குறைப்பதில்லை. அதே பதிவு மூன்று பிழைகள் கிளாட்டை தரமிறக்கியதாகவும், கிட்டத்தட்ட மூன்றில் ஒரு பங்கு கிளாட் குறியீடு பயனர்கள் குறைந்தது ஒரு முறையாவது தவறான சர்வர்களை அடைந்ததாகவும் ஒப்புக்கொள்கிறது. எனவே புகார்கள் உண்மையானவை மற்றும் காரணம் பிழைகள், இதனால்தான் களஞ்சியம் வெளியீட்டு வாரம் மிக மோசமான வாரமாக இருக்கலாம் என்று எச்சரிக்கிறது.

3:35 முப்பது நாட்களில் ஆறு நாட்கள் ஆகிவிட்டன. முதல் சாத்தியமான அழைப்பு அக்டோபர் இருபத்தி நான்காம் தேதி ஆகும், எனவே நேர்மையான பதில் என்னவென்றால், யாருக்கும் தெரியாது, நிச்சயமாக இருந்த அனைவருக்கும் உட்பட. எண்கள் யாரும் வெளியிடுவதில்லை என்பதைப் பற்றி பேசுகையில்.

தரவு மையங்கள் அவற்றின் எண்களை ரகசியமாக வைக்கின்றன; பேக்ப்ளேஸ் வெளியிடுகிறது

3:46 லைட்ஹவுஸ் அறிக்கைகள் மற்றும் டச்சு செய்தித்தாள் ட்ரூவ் கண்டுபிடித்தது என்னவென்றால், பெரும்பாலான ஐரோப்பிய தரவு மையங்கள் அவற்றின் மின்சாரம் மற்றும் நீர் பயன்பாட்டை ரகசியமாக வைக்கின்றன, ஒரு ஐரோப்பிய ஒன்றிய விதி மூன்று ஆண்டுகளாக அறிக்கை செய்வதை கட்டாயப்படுத்தியிருந்தாலும் கூட. நெதர்லாந்தில், கால் பகுதிக்கும் குறைவானவை வெளியிடுகின்றன. ஒரு மைக்ரோசாப்ட் தரவு மையம் மட்டும் டச்சு மின்சாரத்தில் சுமார் ஒரு சதவீதத்தைப் பயன்படுத்துகிறது. இதற்கிடையில், பேக்ப்ளேஸ் மீண்டும் சலிப்பான வேலையைச் செய்தது. அதன் காலாண்டு டிரைவ் புள்ளிவிவரங்கள் சுமார் மூன்று லட்சத்து ஐம்பதாயிரம் ஹார்ட் டிரைவ்களை உள்ளடக்கியது, மற்றும் தோல்வி விகிதம் ஒரு புள்ளி ஏழு மூன்று சதவீதமாக உயர்ந்தது,

4:16 சமீபகாலத்தில் இதுவே அதிகபட்சம். மூன்று சீகேட் மாடல்களில் தோல்விகள் இல்லை. அதுதான் ஒரு பொதுவான அடிப்படை போல் தெரிகிறது, காலாண்டுக்கு ஒருமுறை, பதின்மூன்று ஆண்டுகளாக.

பற்றுச் சீட்டு: கிளாட் மீட்டரை உருவாக்க உதவியது

4:25 இப்போது, அந்த வரவுக் கோடு. களஞ்சியத்தின் பெரும்பகுதி கிளாட் உதவியுடன் எழுதப்பட்டது என்பதை ரீட்மி ஒப்புக்கொள்கிறது, இது அளவிடப்படும் மாதிரி. எனவே கிளாட் மந்தமாகிவிட்டதா என்று சரிபார்க்கும் மீட்டரை உருவாக்க கிளாட் உதவியது. அதனால்தான் கிரேடர்கள் வெறும் செயல்பாடுகள். ஆசிரியரின் வார்த்தைகளில், நீங்கள் ஆசிரியரை நம்ப வேண்டியதில்லை, மனிதன் அல்லது வேறு எதுவாக இருந்தாலும். நான் சொல்வதைக் கேட்பதை விட இதை நீங்கள் படிக்க விரும்பினால், டிஃப் உங்கள் இன்பாக்ஸில்

4:46 ஒவ்வொரு காலையிலும் இலவசமாக daily diff dot dev இல் வந்து சேரும், இணைப்பு கீழே உள்ளது. எனவே, இன்று லைவ் நெர்ஃப் மீதான தீர்ப்பு.

தீர்ப்பு: SHIP IT, மற்றும் அக்டோபர் 24 க்கு முன் மேற்கோள் காட்ட வேண்டாம்

4:51 SHIP IT. நான் இதை வெளியிடுவேன், ஏனெனில் இது ஒரு காலமுத்திரை, ஒரு பொதுவான விதிகள் புத்தகம் மற்றும் ஒரு கூறப்பட்ட குருட்டுப் புள்ளி ஆகியவற்றைக் கொண்ட முதல் செயல்திறன் குறைப்பு வாதம். அக்டோபர் இருபத்தி நான்காம் தேதிக்கு முன் அதை மேற்கோள் காட்ட வேண்டாம். மற்றும் இன்றைய வேறுபாடு இதுதான். நான் ஆக்ரிசியில் இருந்து நிகோ. பொறுப்புடன் ஒன்றிணைக்கவும்.

ஆதாரங்கள்

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com