# Sådan opdager du en Claude-nerf (med ægte data) Published: 2026-09-30 Folk siger, at Claude bliver dummere et par uger efter hver lancering. En udvikler satte Claude Opus 5.5 på en 30-dages tidsplan fra lanceringsugen, med fastlåste spørgsmål, en fastgjort Claude Code og offentlige regler, og det viser, hvorfor ingen kunne have vidst det før, og hvorfor dit tokenantal er det, du skal holde øje med. Dom: SHIP IT. Canonical: https://thedailydiff.dev/da/video/2026-09-30-opus-nerf-meter/ ## Hvad denne video dækker - Claude bliver dummere efter lancering: teorien møder et dag-nul ur - livenerf: et 30-dages ur på Opus 5.5 fra lanceringsugen - Sådan fanger du en nerf: 78 undertiden-rigtige spørgsmål - Hvad den kan se: 7,5 point, og tokenantallet bevæger sig først - Den blinde vinkel: et Opus 5-skifte og 8 forkerte svarnøgler ## Kapitler - 0:00 Claude bliver dummere efter lancering: teorien møder et dag-nul ur - 0:26 livenerf: et 30-dages ur på Opus 5.5 fra lanceringsugen - 1:24 Sådan fanger du en nerf: 78 undertiden-rigtige spørgsmål - 2:19 Hvad den kan se: 7,5 point, og tokenantallet bevæger sig først - 2:53 Den blinde vinkel: et Opus 5-skifte og 8 forkerte svarnøgler - 3:08 Anthropic: vi reducerer aldrig modelkvaliteten - 3:45 Datacentre holder deres tal hemmelige; Backblaze publicerer - 4:25 Kreditlinjen: Claude hjalp med at bygge måleren - 4:50 Dom: SHIP IT, og citer det ikke før den 24. oktober ## Oversat udskrift Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube. ### Claude bliver dummere efter lancering: teorien møder et dag-nul ur 0:00 Alle ved, at Claude bliver dummere et par uger efter lanceringen. Så en udvikler satte Opus 5.5 på et ur fra lanceringsugen, og uret siger, at ingen endnu kunne have vidst det. I denne video, tre spørgsmål. Hvordan fanger du en nerf? Hvad kan denne måler se? Og hvad siger Anthropic? Og en linje i repoets credits fik mig til at grine højt. 0:20 Jeg kommer til det til sidst. Det er onsdag den 30. september, og dette er The Daily Diff. Tre historier i dag, og den store er et GitHub-repo kaldet live nerf. ### livenerf: et 30-dages ur på Opus 5.5 fra lanceringsugen 0:30 I måneder har folk sagt, at Anthropic stille og roligt nerfer sine modeller efter lanceringen. De sædvanlige teorier er en presset model, en mindre model under samme navn eller simpelthen mindre tænkning. Repoet kalder hvert argument indtil videre for stemninger mod stemninger. Opus 5.5 blev sendt den 22. september, og for en uge siden fortalte jeg dig, at den toppede den uafhængige liste, mens den skrev tre gange flere ord end den gennemsnitlige model. To og en halv dag inde startede en udvikler kaldet ninja hawk uret, 0:59 en gang om dagen i tredive dage, med logs som ingen må redigere. Hacker News-tråden ramte næsten otte hundrede point og delte sig som en teamchat. En kommentator siger, at nerfing af modeller ikke er ægte i langt de fleste rapporterede tilfælde. En anden siger, at folk bare vænner sig til det nye niveau af intelligens. Og en Claude Code power user afviser nu rate-this-session pop-up hver gang, fordi bedømmelse af Claude syntes at gøre det værre. Peer review. Så, spørgsmål et, hvordan fanger du en nerf? ### Sådan fanger du en nerf: 78 undertiden-rigtige spørgsmål 1:27 Du starter med omkring 2300 svære eksamensspørgsmål, og Opus får 93 procent rigtigt i første forsøg, hvilket er ubrugeligt for en detektor, da et spørgsmål, den altid får rigtigt, ikke kan falde. 97 procent var altid rigtige eller altid forkerte, og de 78, den kun undertiden får rigtigt, blev panelet. Samme prompt, ingen værktøjer, og præcis match-bedømmelse uden AI-dommer, fordi dommeren også ville drive. Den kører på et Max-abonnement via headless Claude Code, 1:55 da API-versionen var prissat til omkring 1600 dollars om måneden. Og Claude Code-versionen er fastlåst, fordi, med repoets ord, et ændret selestykke ligner nøjagtigt en ændret model. Statistikken kommer fra en artikel kaldet "Adding Error Bars to Evals", af Evan Miller fra Anthropic. Så Anthropic's egen matematik reviderer nu Anthropic, hvilket er den akademiske version af at citere servicevilkårene tilbage til kundesupport. ### Hvad den kan se: 7,5 point, og tokenantallet bevæger sig først 2:19 Spørgsmål to, hvad kan den se? Per ti-dages vindue, et fald på omkring syv og en halv point. For at bevise, at systemet virker, skruede forfatteren med vilje ned for Claudes indsats. Medium indsats skar outputtet med omkring en fjerdedel, og scoren med kun fire point. Lav indsats skar outputtet med næsten to tredjedele, for otte point. Det er den del, man skal stjæle. Mindre tænkning viser sig i tokenantallet, før det viser sig i svarene. 2:43 Så fastlås din modelversion, log output-tokens per opgave, og behold et par frosne spørgsmål selv. Hvis din agent pludselig skriver kortere, tjek dine logs, før du tjekker Reddit. Og her er den ærlige del. ### Den blinde vinkel: et Opus 5-skifte og 8 forkerte svarnøgler 2:54 Stille og roligt at skifte til den ældre Opus 5 var en for lille ændring til, at systemet kunne kalde, og readme siger det på forhånd. Revisionen fandt også otte svarnøgler, der ser forkerte ud, så nerf-detektoren fandt fejl i benchmarken, før den fandt en nerf. ### Anthropic: vi reducerer aldrig modelkvaliteten 3:08 Spørgsmål tre, hvad siger Anthropic? Sidste år, efter en bølge af klager, publicerede Anthropic en postmortem. Den siger, citat, vi reducerer aldrig modelkvaliteten på grund af efterspørgsel, tidspunkt på dagen eller serverbelastning. Samme indlæg indrømmer, at tre fejl havde forringet Claude, og næsten en tredjedel af Claude Code-brugere ramte de forkerte servere mindst én gang. Så klagerne var reelle, og årsagen var fejl, hvilket er grunden til, at repoet advarer om, at lanceringsugen kunne være den værste uge. 3:35 Seks ud af tredive dage er inde. Det første mulige opkald lander omkring den 24. oktober, så det ærlige svar er, at ingen ved det, inklusive alle dem, der var sikre. Apropos tal, ingen offentliggør. ### Datacentre holder deres tal hemmelige; Backblaze publicerer 3:46 Lighthouse Reports og den hollandske avis Trouw fandt ud af, at langt de fleste europæiske datacentre holder deres strøm- og vandforbrug hemmeligt, selvom en EU-regel har krævet rapportering i tre år. I Holland offentliggør færre end en fjerdedel. Et Microsoft-datacenter alene bruger omkring en procent af hollandsk elektricitet. Imens gjorde Backblaze det kedelige igen. Deres kvartalsvise drevstatistikker dækker omkring 350.000 harddiske, og fejlraten steg til 1,73 procent, 4:16 den højeste i et stykke tid. Tre Seagate-modeller havde nul fejl. Sådan ser en offentlig baseline ud, kvartal efter kvartal, i tretten år. ### Kreditlinjen: Claude hjalp med at bygge måleren 4:25 Nu, den kreditlinje. Readme indrømmer, at meget af repoet blev skrevet med hjælp fra Claude, som er den model, der måles. Så Claude hjalp med at bygge måleren, der tjekker, om Claude blev dummere. Derfor er bedømmerne almindelige funktioner. Med forfatterens ord, du burde ikke skulle stole på forfatteren, menneskelig eller ej. Hvis du hellere vil læse dette end høre mig sige det, lander "the diff" i din indbakke 4:46 hver morgen, gratis på thedailydiff.dev, link nedenfor. Så, dagens dom om live nerf. ### Dom: SHIP IT, og citer det ikke før den 24. oktober 4:51 SHIP IT. Jeg ville SHIP IT, fordi det er det første nerf-argument, jeg har set med et tidsstempel, en offentlig regelbog og en angivet blind plet. Bare citer det ikke før den 24. oktober. Og det er "the diff" for i dag. Jeg er Niko fra Axrisi. Merge responsibly. ## Kilder - [livenerf](https://github.com/ninjahawk/livenerf) — github.com - [Validation](https://github.com/ninjahawk/livenerf/blob/main/docs/VALIDATION.md) — github.com - [Hacker News](https://news.ycombinator.com/item?id=49901736) — news.ycombinator.com - [Anthropic postmortem (Sep 2025)](https://www.anthropic.com/engineering/a-postmortem-of-three-recent-issues) — www.anthropic.com - [Adding Error Bars to Evals (Evan Miller)](https://arxiv.org/abs/2411.00640) — arxiv.org - [Inspect (UK AI Security Institute)](https://inspect.aisi.org.uk/) — inspect.aisi.org.uk - [NL Times](https://nltimes.nl/2026/09/30/data-centers-refusing-say-much-water-electricity-use) — nltimes.nl - [Hacker News](https://news.ycombinator.com/item?id=49907057) — news.ycombinator.com - [Backblaze Drive Stats Q2 2026](https://www.backblaze.com/blog/backblaze-drive-stats-for-q2-2026/) — www.backblaze.com - [Hacker News](https://news.ycombinator.com/item?id=49893002) — news.ycombinator.com