Hoe om 'n Claude-nerf op te spoor (met regte data)
Mense sê Claude word 'n paar weke na elke bekendstelling dommer.
Mense sê Claude word 'n paar weke na elke bekendstelling dommer. Een ontwikkelaar het Claude Opus 5.5 op 'n 30-dae klok gesit vanaf bekendstellingsweek, met bevrore vrae, 'n vasgespelde Claude Code en publieke reëls, en dit wys waarom niemand voorheen kon geweet het nie, en waarom jou token-telling die ding is om dop te hou. Uitspraak: SHIP IT.
Lees die geskrewe uitgawe (Engels) ↗
Wat hierdie video dek
- Claude word dommer na bekendstelling: die teorie ontmoet 'n dag-nul klok
- livenerf: 'n 30-dae klok op Opus 5.5 vanaf bekendstellingsweek
- Hoe om 'n nerf te vang: 78 soms-regte vrae
- Wat dit kan sien: 7.5 punte, en die token-telling beweeg eerste
- Die blinde kol: 'n Opus 5-ruil en 8 verkeerde antwoordsleutels
Vrae en antwoorde
Hoe kan u toets of 'n KI-model na bekendstelling stilweg versleg het?
Voer dieselfde bevrore vrae op 'n vaste skedule uit en gradeer dit met 'n presiese passing. Die livenerf-repo hou 'n 30-dae klok op Claude Opus 5.5, een keer per dag, met logs wat niemand mag redigeer nie. Dit gebruik 78 vrae wat die model slegs soms reg beantwoord, want 'n vraag wat dit altyd korrek beantwoord, kan nie daal nie. Dit speld die Claude Code-weergawe vas, aangesien 'n veranderde harnas soos 'n veranderde model lyk.
Watter grootte daling kan die livenerf-meter opspoor?
Per tien-dag venster kan die meter 'n daling van ongeveer 7.5 punte sien. Om te bewys dat die stelsel werk, het die outeur Claude se poging doelbewus verminder. Lae inspanning het die uitset met byna twee derdes en die telling met agt punte verminder. Die stilswyende ruil met die ouer Opus 5 was 'n te klein verandering vir die stelsel om aan te dui, en die readme sê dit vooraf.
Wat moet ontwikkelaars dopgehou om op te let of 'n KI-agent minder dink?
Uitvoer-tokentelling per taak. In die livenerf-toetse het minder denke in die tokenstelling verskyn voordat dit in die antwoorde verskyn het. Die episode stel voor om jou modelweergawe vas te stel, uitvoer-tokens per taak aan te teken en 'n paar bevrore vrae van jou eie te hou. As jou agent skielik korter skryf, kyk eers na jou logs.
Sê Anthropic dat dit Claude se kwaliteit verminder wanneer die vraag hoog is?
Anthropic sê dit doen dit nie. Die nadoodse ondersoek van September 2025 sê dit verminder nooit modelkwaliteit as gevolg van vraag, tyd van die dag of bedienerlading nie. Dieselfde pos erken dat drie foute Claude versleg het, en dat byna 'n derde van Claude Code-gebruikers minstens een keer die verkeerde bedieners getref het.
Kan die livenerf-resultate vertrou word om reeds 'n Claude nerf te toon?
The Daily Diff se uitspraak was SHIP IT vir die projek, omdat dit die eerste nerf-argument is met 'n tydstempel, 'n openbare reëlboek en 'n verklaarde blinde kol. Die episode sê om dit nie voor 24 Oktober aan te haal nie, want slegs ses van dertig dae was in en die eerste moontlike oproep land dan. Die oudit het ook 8 antwoordsleutels gevind wat verkeerd lyk.
Vertaalde transkripsie
Vertaal uit die oorspronklike Engelse vertelling. Beskikbare klank en onderskrifte word deur YouTube beheer.
Claude word dommer na bekendstelling: die teorie ontmoet 'n dag-nul klok
0:00 Almal weet Claude word 'n paar weke na bekendstelling dommer. So een ontwikkelaar het Opus vyf punt vyf op 'n klok gesit vanaf bekendstellingsweek, en die klok sê niemand kon nog geweet het nie. In hierdie video, drie vrae. Hoe vang jy 'n nerf? Wat kan hierdie meter sien? En wat sê Anthropic? En een lyn in die repo se krediete het my hardop laat lag.
0:20 Ek sal aan die einde daarby uitkom. Dis Woensdag, dertigste September, en dit is The Daily Diff. Drie stories vandag, en die groot een is 'n GitHub-repo genaamd live nerf.
livenerf: 'n 30-dae klok op Opus 5.5 vanaf bekendstellingsweek
0:30 Vir maande het mense gesê Anthropic nerf sy modelle stil-stil na bekendstelling. Die gewone teorieë is 'n saamgeperste model, 'n kleiner model onder dieselfde naam of bloot minder denke. Die repo noem elke argument tot dusver vibes teen vibes. Opus vyf punt vyf is op twee-en-twintigste September verskeep, en 'n week gelede het ek jou vertel dit was boaan die onafhanklike bord terwyl dit drie keer meer woorde as die gemiddelde model geskryf het. Twee en 'n half dae later het 'n ontwikkelaar genaamd ninja hawk die klok begin,
0:59 een keer per dag vir dertig dae, met logs wat niemand mag redigeer nie. Die Hacker News-draad het byna agthonderd punte behaal en soos 'n span chat verdeel. Een kommentator sê nerfing van modelle is nie werklik in die oorgrote meerderheid van gerapporteerde gevalle nie. 'n Ander sê mense raak net gewoond aan die nuwe vlak van intelligensie. En een Claude Code-kraggebruiker wys nou elke keer die beoordeel-hierdie-sessie opspringvenster af, want om Claude te beoordeel het gelyk of dit dit erger maak. Portuurbeoordeling. So, vraag een, hoe vang jy 'n nerf?
Hoe om 'n nerf te vang: 78 soms-regte vrae
1:27 Jy begin met ongeveer drie-en-twintighonderd moeilike eksamenvrae, en Opus kry drie-en-negentig persent reg met die eerste probeerslag, wat nutteloos is vir 'n detektor, aangesien 'n vraag wat dit altyd reg kry, nie kan daal nie. Sewe-en-negentig persent was altyd reg of altyd verkeerd, en die agt-en-sewentig wat dit net soms reg kry, het die paneel geword. Dieselfde prompt, geen gereedskap, en presiese-passing gradering met geen KI-regter nie, want die regter sou ook dryf. Dit loop op 'n Max-intekening deur headless Claude Code,
1:55 aangesien die API-weergawe teen ongeveer sestienhonderd dollar per maand geprys is. En die Claude Code-weergawe is vasgespel, want, in die repo se woorde, 'n veranderde harnas lyk presies soos 'n veranderde model. Die statistieke kom van 'n artikel genaamd Adding Error Bars to Evals, deur Evan Miller by Anthropic. So Anthropic se eie wiskunde is nou besig om Anthropic te oudit, wat die akademiese weergawe is van die aanhaal van die diensbepalings terug aan kliëntediens.
Wat dit kan sien: 7.5 punte, en die token-telling beweeg eerste
2:19 Vraag twee, wat kan dit sien? Per tien-dae venster, 'n daling van ongeveer sewe en 'n half punte. Om te bewys die tuig werk, het die outeur Claude se poging doelbewus verminder. Medium poging het die uitvoer met ongeveer 'n kwart verminder, en die telling met slegs vier punte. Lae poging het die uitvoer met byna twee derdes verminder, vir agt punte. Dis die deel om te steel. Minder denke verskyn in die token-telling voordat dit in die antwoorde verskyn.
2:43 Spel dus jou modelweergawe vas, log uitvoer-tokens per taak, en hou 'n paar bevrore vrae van jou eie. As jou agent skielik korter skryf, kyk na jou logs voordat jy Reddit nagaan. En hier is die eerlike deel.
Die blinde kol: 'n Opus 5-ruil en 8 verkeerde antwoordsleutels
2:54 Om stilweg die ouer Opus vyf in te ruil was 'n te klein verandering vir die tuig om te noem, en die readme sê dit reg voor. Die oudit het ook agt antwoordsleutels gevind wat verkeerd lyk, so die nerf-detektor het foute in die maatstaf gevind voordat dit 'n nerf gevind het.
Anthropic: ons verminder nooit modelkwaliteit nie
3:08 Vraag drie, wat sê Anthropic? Verlede jaar, na 'n golf van klagtes, het Anthropic 'n postmortem gepubliseer. Dit sê, aanhalend, ons verminder nooit modelkwaliteit as gevolg van aanvraag nie, tyd van die dag of bedienerlading nie. Dieselfde pos gee toe dat drie foute Claude verswak het, en byna 'n derde van Claude Code-gebruikers het ten minste een keer die verkeerde bedieners getref. So die klagtes was werklik en die oorsaak was foute, daarom waarsku die repo dat bekendstellingsweek die slegste week kan wees.
3:35 Ses van dertig dae is in. Die eerste moontlike oproep land rondom vier-en-twintigste Oktober, so die eerlike antwoord is dat niemand weet nie, insluitend almal wat seker was. Praat van syfers wat niemand publiseer nie.
Datasentrums hou hul syfers geheim; Backblaze publiseer
3:46 Lighthouse Reports en die Nederlandse koerant Trouw het bevind dat die oorgrote meerderheid van Europese datasentrums hul krag- en waterverbruik geheim hou, alhoewel 'n EU-reël vir drie jaar verslagdoening vereis het. In Nederland publiseer minder as 'n kwart. Een Microsoft-datasentrum alleen gebruik ongeveer een persent van Nederlandse elektrisiteit. Intussen het Backblaze weer die vervelige ding gedoen. Sy kwartaallikse skyfstatistieke dek ongeveer driehonderd-en-vyftigduisend hardeskywe, en die mislukkingskoers het gestyg tot een punt sewe drie persent,
4:16 die hoogste in 'n rukkie. Drie Seagate-modelle het geen mislukkings gehad nie. Dit is hoe 'n publieke basislyn lyk, kwartaal na kwartaal, vir dertien jaar.
Die kredietlyn: Claude het gehelp om die meter te bou
4:25 Nou, daardie kredietlyn. Die readme gee toe dat baie van die repo geskryf is met die hulp van Claude, wat die model is wat gemeet word. So Claude het gehelp om die meter te bou wat kontroleer of Claude dommer geword het. Dis hoekom die gradeerders gewone funksies is. In die outeur se woorde, jy behoort nie die outeur te hoef te vertrou nie, menslik of andersins. As jy dit eerder wil lees as om my dit te hoor sê, land die verskil in jou inkassie
4:46 elke oggend, gratis by the daily diff dot dev, skakel hieronder. So, vandag se uitspraak oor live nerf.
Uitspraak: SHIP IT, en moenie dit voor 24 Okt aanhaal nie
4:51 SHIP IT. Ek sou dit verskeep omdat dit die eerste nerf-argument is wat ek gesien het met 'n tydstempel, 'n publieke reëlboek en 'n vermelde blinde kol. Moet dit net nie voor vier-en-twintigste Oktober aanhaal nie. En dis die verskil vir vandag. Ek is Niko van Axrisi. Samesmelting verantwoordelik.
Bronne
- livenerfgithub.com
- Validationgithub.com
- Hacker Newsnews.ycombinator.com
- Anthropic postmortem (Sep 2025)www.anthropic.com
- Adding Error Bars to Evals (Evan Miller)arxiv.org
- Inspect (UK AI Security Institute)inspect.aisi.org.uk
- NL Timesnltimes.nl
- Hacker Newsnews.ycombinator.com
- Backblaze Drive Stats Q2 2026www.backblaze.com
- Hacker Newsnews.ycombinator.com



