# Claude nerf ને કેવી રીતે શોધવું (વાસ્તવિક ડેટા સાથે)

Published: 2026-09-30

લોકો કહે છે કે દરેક લોન્ચ પછી થોડા અઠવાડિયામાં Claude ડમ્બ બની જાય છે. એક ડેવલપરે Claude Opus 5.5 ને લોન્ચ વીકથી 30-દિવસની ઘડિયાળ પર મૂક્યું, જેમાં ફ્રોઝન પ્રશ્નો, પિન કરેલો Claude Code અને સાર્વજનિક નિયમો હતા, અને તે દર્શાવે છે કે શા માટે કોઈને પહેલાં ખબર નહોતી, અને શા માટે તમારી ટોકન ગણતરી જોવા જેવી બાબત છે. ચુકાદો: SHIP IT.

Canonical: https://thedailydiff.dev/gu/video/2026-09-30-opus-nerf-meter/

## આ વીડિયોમાં શું આવરી લેવામાં આવ્યું છે

- લોન્ચ પછી Claude ડમ્બ બની જાય છે: સિદ્ધાંત દિવસ-શૂન્યની ઘડિયાળને મળે છે
- લાઇવનેર્ફ: લોન્ચ વીકથી Opus 5.5 પર 30-દિવસની ઘડિયાળ
- નેર્ફને કેવી રીતે પકડવું: 78 કેટલીકવાર-સાચા પ્રશ્નો
- તે શું જોઈ શકે છે: 7.5 પોઈન્ટ્સ, અને ટોકન ગણતરી પહેલા ફરે છે
- બ્લાઇન્ડ સ્પોટ: એક Opus 5 સ્વેપ અને 8 ખોટી જવાબ કી

## પ્રકરણો

- 0:00 લોન્ચ પછી Claude ડમ્બ બની જાય છે: સિદ્ધાંત દિવસ-શૂન્યની ઘડિયાળને મળે છે
- 0:26 લાઇવનેર્ફ: લોન્ચ વીકથી Opus 5.5 પર 30-દિવસની ઘડિયાળ
- 1:24 નેર્ફને કેવી રીતે પકડવું: 78 કેટલીકવાર-સાચા પ્રશ્નો
- 2:19 તે શું જોઈ શકે છે: 7.5 પોઈન્ટ્સ, અને ટોકન ગણતરી પહેલા ફરે છે
- 2:53 બ્લાઇન્ડ સ્પોટ: એક Opus 5 સ્વેપ અને 8 ખોટી જવાબ કી
- 3:08 એન્થ્રોપિક: અમે ક્યારેય મોડેલની ગુણવત્તા ઘટાડતા નથી
- 3:45 ડેટા સેન્ટરો તેમના નંબરો ગુપ્ત રાખે છે; બેકબ્લેઝ પ્રકાશિત કરે છે
- 4:25 ક્રેડિટ્સ લાઇન: Claude એ મીટર બનાવવામાં મદદ કરી
- 4:50 ચુકાદો: SHIP IT, અને 24 ઓક્ટોબર પહેલા તેને ટાંકશો નહીં

## અનુવાદિત ટ્રાન્સક્રિપ્ટ

મૂળ અંગ્રેજી કથામાંથી અનુવાદિત. ઉપલબ્ધ ઑડિઓ અને કૅપ્શન્સ YouTube દ્વારા નિયંત્રિત થાય છે.

### લોન્ચ પછી Claude ડમ્બ બની જાય છે: સિદ્ધાંત દિવસ-શૂન્યની ઘડિયાળને મળે છે

0:00 દરેક વ્યક્તિ જાણે છે કે લોન્ચ પછી થોડા અઠવાડિયામાં Claude ડમ્બ બની જાય છે. તો એક ડેવલપરે Opus 5.5 ને લોન્ચ વીકથી ઘડિયાળ પર મૂક્યું, અને ઘડિયાળ કહે છે કે કોઈને હજુ સુધી ખબર નહોતી. આ વીડિયોમાં, ત્રણ પ્રશ્નો. તમે નેર્ફને કેવી રીતે પકડો છો? આ મીટર શું જોઈ શકે છે? અને એન્થ્રોપિક શું કહે છે? અને રેપોના ક્રેડિટ્સમાંની એક લાઇનથી મને જોરથી હસવું આવ્યું.

0:20 હું અંતે તેના પર આવીશ. આ બુધવાર, 30 સપ્ટેમ્બર છે, અને આ The Daily Diff છે. આજે ત્રણ વાર્તાઓ, અને મોટી વાર્તા GitHub રેપો છે જેને live nerf કહેવાય છે.

### લાઇવનેર્ફ: લોન્ચ વીકથી Opus 5.5 પર 30-દિવસની ઘડિયાળ

0:30 મહિનાઓથી, લોકો કહે છે કે એન્થ્રોપિક લોન્ચ પછી તેના મોડેલ્સને શાંતિથી નેર્ફ કરે છે. સામાન્ય સિદ્ધાંતો છે સંકોચાયેલ મોડેલ, સમાન નામ હેઠળ નાનું મોડેલ અથવા ફક્ત ઓછું વિચારવું. રેપો અત્યાર સુધીની દરેક દલીલને vibes versus vibes કહે છે. Opus 5.5 22 સપ્ટેમ્બરે શિપ થયું, અને એક અઠવાડિયા પહેલા મેં તમને કહ્યું હતું કે તેણે સ્વતંત્ર બોર્ડમાં ટોચનું સ્થાન મેળવ્યું હતું જ્યારે ત્રણ ગણા વધુ શબ્દો લખ્યા હતા જે મધ્યમ મોડેલ કરતાં વધારે હતા. અઢી દિવસમાં, ninja hawk નામના ડેવલપરે ઘડિયાળ શરૂ કરી,

0:59 રોજ એકવાર, ત્રીસ દિવસ માટે, લોગ્સ સાથે જેને કોઈ સંપાદિત કરી શકશે નહીં. Hacker News થ્રેડ લગભગ 800 પોઈન્ટ્સ પર પહોંચ્યો અને ટીમ ચેટની જેમ વિભાજિત થયો. એક ટિપ્પણીકાર કહે છે કે મોટાભાગના વર્ણવેલા કિસ્સાઓમાં મોડેલ્સને નેર્ફ કરવું વાસ્તવિક નથી. બીજો કહે છે કે લોકો ફક્ત બુદ્ધિના નવા સ્તરની આદત પાડી રહ્યા છે. અને એક Claude Code પાવર યુઝર હવે rate-this-session પોપ-અપને દર વખતે ડિસમિસ કરે છે, કારણ કે Claude ને રેટિંગ આપવાથી તે વધુ ખરાબ થતું હોય તેવું લાગતું હતું. પીઅર રિવ્યુ. તો, પ્રશ્ન એક, તમે નેર્ફને કેવી રીતે પકડો છો?

### નેર્ફને કેવી રીતે પકડવું: 78 કેટલીકવાર-સાચા પ્રશ્નો

1:27 તમે લગભગ 2300 સખત પરીક્ષા પ્રશ્નોથી શરૂઆત કરો છો, અને Opus પ્રથમ પ્રયાસમાં 93 ટકા સાચા જવાબ આપે છે, જે ડિટેક્ટર માટે નકામું છે, કારણ કે જે પ્રશ્ન તે હંમેશા સાચો આપે છે તે ઘટી શકતો નથી. 97 ટકા હંમેશા સાચા અથવા હંમેશા ખોટા હતા, અને 78 જે તે ક્યારેક જ સાચા આપે છે તે પેનલ બન્યા. સમાન પ્રોમ્પ્ટ, કોઈ ટૂલ્સ નહીં, અને કોઈ AI ન્યાયાધીશ વિના ચોક્કસ-મેચ ગ્રેડિંગ નહીં, કારણ કે ન્યાયાધીશ પણ ડ્રિફ્ટ કરશે. તે હેડલેસ Claude Code દ્વારા Max સબ્સ્ક્રિપ્શન પર ચાલે છે,

1:55 કારણ કે API સંસ્કરણની કિંમત મહિને લગભગ 1600 ડોલર હતી. અને Claude Code સંસ્કરણ પિન કરેલું છે, કારણ કે, રેપોના શબ્દોમાં, બદલેલું હાર્નેસ બદલેલા મોડેલ જેવું જ દેખાય છે. આંકડા Adding Error Bars to Evals નામના પેપરમાંથી આવે છે, જે એન્થ્રોપિકના ઇવાન મિલર દ્વારા લખાયેલું છે. તો એન્થ્રોપિકનું પોતાનું ગણિત હવે એન્થ્રોપિકનું ઓડિટ કરી રહ્યું છે, જે શૈક્ષણિક સંસ્કરણ છે જે ગ્રાહક સપોર્ટને સેવા શરતો પાછી ટાંકવા જેવું છે.

### તે શું જોઈ શકે છે: 7.5 પોઈન્ટ્સ, અને ટોકન ગણતરી પહેલા ફરે છે

2:19 પ્રશ્ન બે, તે શું જોઈ શકે છે? દસ-દિવસની વિન્ડો દીઠ, લગભગ સાડા સાત પોઈન્ટનો ઘટાડો. રીગ કામ કરે છે તે સાબિત કરવા માટે, લેખકે ઇરાદાપૂર્વક Claude ના પ્રયત્નો ઘટાડ્યા. મધ્યમ પ્રયત્નોએ આઉટપુટમાં લગભગ એક ચતુર્થાંશનો ઘટાડો કર્યો, અને સ્કોરમાં ફક્ત ચાર પોઈન્ટનો ઘટાડો કર્યો. ઓછા પ્રયત્નોએ આઉટપુટમાં લગભગ બે તૃતીયાંશનો ઘટાડો કર્યો, આઠ પોઈન્ટ માટે. તે ચોરવાનો ભાગ છે. ઓછું વિચારવું જવાબમાં દેખાય તે પહેલાં ટોકન ગણતરીમાં દેખાય છે.

2:43 તો તમારી મોડેલ આવૃત્તિ પિન કરો, કાર્ય દીઠ આઉટપુટ ટોકન્સ લોગ કરો, અને તમારા પોતાના કેટલાક ફ્રોઝન પ્રશ્નો રાખો. જો તમારો એજન્ટ અચાનક ટૂંકા લખે, તો Reddit તપાસતા પહેલા તમારા લોગ્સ તપાસો. અને અહીં પ્રામાણિક ભાગ છે.

### બ્લાઇન્ડ સ્પોટ: એક Opus 5 સ્વેપ અને 8 ખોટી જવાબ કી

2:54 શાંતિથી જૂના Opus 5 ને બદલવું રીગ માટે ખૂબ નાનો ફેરફાર હતો અને readme આગળ જ એમ કહે છે. ઓડિટે આઠ જવાબ કી પણ શોધી કાઢી જે ખોટી લાગે છે, તો nerf ડિટેક્ટરે nerf શોધતા પહેલા બેન્ચમાર્કમાં બગ્સ શોધી કાઢ્યા.

### એન્થ્રોપિક: અમે ક્યારેય મોડેલની ગુણવત્તા ઘટાડતા નથી

3:08 પ્રશ્ન ત્રણ, એન્થ્રોપિક શું કહે છે? ગયા વર્ષે, ફરિયાદોના મોજા પછી, એન્થ્રોપિકે પોસ્ટમોર્ટમ પ્રકાશિત કર્યું. તે કહે છે, અવતરણ, અમે માંગને કારણે મોડેલની ગુણવત્તા ક્યારેય ઘટાડતા નથી, દિવસના સમય અથવા સર્વર લોડને કારણે. તે જ પોસ્ટ ત્રણ બગ્સને સ્વીકારે છે જેણે Claude ને ખરાબ કરી દીધું હતું, અને લગભગ ત્રીજા ભાગના Claude Code વપરાશકર્તાઓ ઓછામાં ઓછા એકવાર ખોટા સર્વર્સ પર પહોંચ્યા હતા. તો ફરિયાદો વાસ્તવિક હતી અને કારણ બગ્સ હતું, એટલે જ રેપો ચેતવણી આપે છે કે લોન્ચ વીક સૌથી ખરાબ અઠવાડિયું હોઈ શકે છે.

3:35 ત્રીસ દિવસમાંથી છ દિવસ પૂરા થયા. પ્રથમ સંભવિત કોલ 24 ઓક્ટોબરની આસપાસ આવે છે, તો પ્રામાણિક જવાબ એ છે કે કોઈને ખબર નથી, જેમાં જેઓ ચોક્કસ હતા તે બધાનો સમાવેશ થાય છે. કોઈ પ્રકાશિત ન કરતા હોય તેવા નંબરોની વાત કરીએ તો.

### ડેટા સેન્ટરો તેમના નંબરો ગુપ્ત રાખે છે; બેકબ્લેઝ પ્રકાશિત કરે છે

3:46 લાઇટહાઉસ રિપોર્ટ્સ અને ડચ પેપર Trouw એ શોધી કાઢ્યું કે મોટાભાગના યુરોપીયન ડેટા સેન્ટરો તેમનો પાવર અને પાણીનો ઉપયોગ ગુપ્ત રાખે છે, જોકે EU નિયમ ત્રણ વર્ષથી રિપોર્ટિંગની જરૂરિયાત ધરાવે છે. નેધરલેન્ડ્સમાં, એક ચતુર્થાંશ કરતાં ઓછા પ્રકાશિત કરે છે. એક માઇક્રોસોફ્ટ ડેટા સેન્ટર એકલું ડચ વીજળીનો લગભગ એક ટકા ઉપયોગ કરે છે. દરમિયાન, બેકબ્લેઝે ફરીથી કંટાળાજનક કામ કર્યું. તેના ત્રિમાસિક ડ્રાઇવ આંકડા લગભગ 350,000 હાર્ડ ડ્રાઇવ્સને આવરી લે છે, અને નિષ્ફળતાનો દર 1.73 ટકા સુધી વધ્યો,

4:16 જે લાંબા સમયમાં સૌથી વધુ છે. ત્રણ Seagate મોડેલોમાં શૂન્ય નિષ્ફળતાઓ હતી. આ એક સાર્વજનિક બેઝલાઇન જેવું લાગે છે, ક્વાર્ટર પછી ક્વાર્ટર, તેર વર્ષથી.

### ક્રેડિટ્સ લાઇન: Claude એ મીટર બનાવવામાં મદદ કરી

4:25 હવે, તે ક્રેડિટ્સ લાઇન. readme સ્વીકારે છે કે રેપોનો ઘણો ભાગ Claude ની મદદથી લખાયો હતો, જે મોડેલને માપવામાં આવી રહ્યું છે. તો Claude એ મીટર બનાવવામાં મદદ કરી જે તપાસે છે કે Claude ડમ્બ બન્યું કે નહીં. એટલે જ ગ્રેડર્સ સાદા કાર્યો છે. લેખકના શબ્દોમાં, તમારે લેખક પર વિશ્વાસ કરવો ન જોઈએ, માનવ હોય કે અન્યથા. જો તમે મને આ કહેતા સાંભળવાને બદલે વાંચવાનું પસંદ કરો, તો diff તમારા ઇનબોક્સમાં દરરોજ સવારે આવે છે,

4:46 the daily diff dot dev પર મફત, નીચે લિંક. તો, live nerf પર આજનો ચુકાદો.

### ચુકાદો: SHIP IT, અને 24 ઓક્ટોબર પહેલા તેને ટાંકશો નહીં

4:51 SHIP IT. હું તેને શિપ કરીશ કારણ કે તે પહેલી nerf દલીલ છે જે મેં ટાઇમસ્ટેમ્પ, સાર્વજનિક રૂલબુક અને જણાવેલ બ્લાઇન્ડ સ્પોટ સાથે જોઈ છે. બસ 24 ઓક્ટોબર પહેલા તેને ટાંકશો નહીં. અને આજ માટે આટલો જ diff. હું Axrisi થી Niko છું. જવાબદારીપૂર્વક મર્જ કરો.

## સ્ત્રોતો

- [livenerf](https://github.com/ninjahawk/livenerf) — github.com
- [Validation](https://github.com/ninjahawk/livenerf/blob/main/docs/VALIDATION.md) — github.com
- [Hacker News](https://news.ycombinator.com/item?id=49901736) — news.ycombinator.com
- [Anthropic postmortem (Sep 2025)](https://www.anthropic.com/engineering/a-postmortem-of-three-recent-issues) — www.anthropic.com
- [Adding Error Bars to Evals (Evan Miller)](https://arxiv.org/abs/2411.00640) — arxiv.org
- [Inspect (UK AI Security Institute)](https://inspect.aisi.org.uk/) — inspect.aisi.org.uk
- [NL Times](https://nltimes.nl/2026/09/30/data-centers-refusing-say-much-water-electricity-use) — nltimes.nl
- [Hacker News](https://news.ycombinator.com/item?id=49907057) — news.ycombinator.com
- [Backblaze Drive Stats Q2 2026](https://www.backblaze.com/blog/backblaze-drive-stats-for-q2-2026/) — www.backblaze.com
- [Hacker News](https://news.ycombinator.com/item?id=49893002) — news.ycombinator.com