# Kako otkriti Claude nerf (sa stvarnim podacima)

Published: 2026-09-30

Ljudi kažu da Claude postaje gluplji nekoliko tjedana nakon svakog lansiranja. Jedan programer je stavio Claude Opus 5.5 na 30-dnevni sat od tjedna lansiranja, sa zamrznutim pitanjima, zakačenim Claude Codeom i javnim pravilima, i to pokazuje zašto nitko prije nije mogao znati, i zašto je vaš broj tokena nešto što treba pratiti. Presuda: SHIP IT.

Canonical: https://thedailydiff.dev/hr/video/2026-09-30-opus-nerf-meter/

## Što ovaj video pokriva

- Claude postaje gluplji nakon lansiranja: teorija se susreće s danom nulte točke
- livenerf: 30-dnevni sat na Opusu 5.5 od tjedna lansiranja
- Kako uhvatiti nerf: 78 ponekad-točnih pitanja
- Što može vidjeti: 7.5 bodova, i broj tokena se prvi pomiče
- Slijepa točka: zamjena Opusa 5 i 8 pogrešnih ključeva odgovora

## Poglavlja

- 0:00 Claude postaje gluplji nakon lansiranja: teorija se susreće s danom nulte točke
- 0:26 livenerf: 30-dnevni sat na Opusu 5.5 od tjedna lansiranja
- 1:24 Kako uhvatiti nerf: 78 ponekad-točnih pitanja
- 2:19 Što može vidjeti: 7.5 bodova, i broj tokena se prvi pomiče
- 2:53 Slijepa točka: zamjena Opusa 5 i 8 pogrešnih ključeva odgovora
- 3:08 Anthropic: nikada ne smanjujemo kvalitetu modela
- 3:45 Podatkovni centri čuvaju svoje brojeve u tajnosti; Backblaze objavljuje
- 4:25 Linija zasluga: Claude je pomogao u izgradnji mjerača
- 4:50 Presuda: SHIP IT, i nemojte ga citirati prije 24. listopada

## Prevedeni transkript

Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.

### Claude postaje gluplji nakon lansiranja: teorija se susreće s danom nulte točke

0:00 Svi znaju da Claude postaje gluplji nekoliko tjedana nakon lansiranja. Tako je jedan programer stavio Opus pet točka pet na sat od tjedna lansiranja, a sat kaže da nitko još nije mogao znati. U ovom videu, tri pitanja. Kako uhvatiti nerf? Što ovaj mjerač može vidjeti? I što Anthropic kaže? I jedan redak u zaslugama repozitorija me nasmijao na sav glas.

0:20 Doći ću do toga na kraju. Srijeda je, trideseti rujan, i ovo je The Daily Diff. Danas tri priče, a velika je GitHub repozitorij pod nazivom live nerf.

### livenerf: 30-dnevni sat na Opusu 5.5 od tjedna lansiranja

0:30 Mjesecima ljudi govore da Anthropic tiho smanjuje kvalitetu svojih modela nakon lansiranja. Uobičajene teorije su stisnuti model, manji model pod istim imenom ili jednostavno manje razmišljanja. Repozitorij naziva svaki dosadašnji argument vibracije protiv vibracija. Opus pet točka pet isporučen je dvadeset drugog rujna, a prije tjedan dana sam vam rekao da je bio na vrhu neovisne ljestvice dok je pisao tri puta više riječi od medijan modela. Nakon dva i pol dana, programer po imenu ninja hawk pokrenuo je sat,

0:59 jednom dnevno trideset dana, s logovima koje nitko ne smije uređivati. Thread na Hacker Newsu dosegao je gotovo osamsto bodova i podijelio se poput timskog chata. Jedan komentator kaže da smanjenje kvalitete modela nije stvarno u velikoj većini prijavljenih slučajeva. Drugi kaže da se ljudi samo navikavaju na novu razinu inteligencije. I jedan napredni korisnik Claude Codea sada svaki put odbacuje skočni prozor 'ocijeni ovu sesiju', jer se činilo da ocjenjivanje Claudea pogoršava stvari. Recenzija. Dakle, pitanje prvo, kako uhvatiti nerf?

### Kako uhvatiti nerf: 78 ponekad-točnih pitanja

1:27 Počinjete s oko dvije tisuće tristo teških ispitnih pitanja, a Opus dobiva devedeset tri posto točnih odgovora iz prvog pokušaja, što je beskorisno za detektor, budući da pitanje na koje uvijek dobije točan odgovor ne može pasti. Devedeset sedam posto je uvijek bilo točno ili uvijek pogrešno, a sedamdeset osam koje samo ponekad dobije točno postalo je panel. Isti prompt, bez alata, i ocjenjivanje točnog podudaranja bez AI suca, jer bi i sudac lutao. Radi na Max pretplati putem headless Claude Codea,

1:55 budući da je API verzija koštala oko šesnaest stotina dolara mjesečno. A verzija Claude Codea je zakačena, jer, prema riječima repozitorija, promijenjena oprema izgleda točno kao promijenjeni model. Statistika dolazi iz rada pod nazivom 'Adding Error Bars to Evals', od Evana Millera iz Anthropic. Dakle, Anthropicova vlastita matematika sada revidira Anthropic, što je akademska verzija citiranja uvjeta usluge natrag korisničkoj podršci.

### Što može vidjeti: 7.5 bodova, i broj tokena se prvi pomiče

2:19 Pitanje drugo, što može vidjeti? Po desetodnevnom prozoru, pad od oko sedam i pol bodova. Kako bi dokazao da oprema radi, autor je namjerno smanjio Claudeov napor. Srednji napor smanjio je izlaz za oko četvrtinu, a rezultat za samo četiri boda. Niska razina napora smanjila je izlaz za gotovo dvije trećine, za osam bodova. To je dio koji treba ukrasti. Manje razmišljanja se prvo pojavljuje u broju tokena prije nego što se pojavi u odgovorima.

2:43 Dakle, zakačite svoju verziju modela, zabilježite izlazne tokene po zadatku, i zadržite nekoliko vlastitih zamrznutih pitanja. Ako vaš agent iznenada piše kraće, provjerite svoje logove prije nego što provjerite Reddit. I evo iskrenog dijela.

### Slijepa točka: zamjena Opusa 5 i 8 pogrešnih ključeva odgovora

2:54 Tiha zamjena starijeg Opusa pet bila je premala promjena da bi je oprema mogla nazvati, a readme to unaprijed kaže. Revizija je također pronašla osam ključeva odgovora koji izgledaju pogrešno, pa je detektor nerfa pronašao greške u benchmarku prije nego što je pronašao nerf.

### Anthropic: nikada ne smanjujemo kvalitetu modela

3:08 Pitanje treće, što Anthropic kaže? Prošle godine, nakon vala pritužbi, Anthropic je objavio postmortem. Kaže, citiram, nikada ne smanjujemo kvalitetu modela zbog potražnje, doba dana ili opterećenja poslužitelja. Isti post priznaje da su tri greške degradirale Claudea, a gotovo trećina korisnika Claude Codea barem jednom je pogodila pogrešne poslužitelje. Dakle, pritužbe su bile stvarne, a uzrok su bile greške, zbog čega repozitorij upozorava da tjedan lansiranja može biti najgori tjedan.

3:35 Šest od trideset dana je prošlo. Prvi mogući poziv slijeće oko dvadeset četvrtog listopada, pa je iskren odgovor da nitko ne zna, uključujući sve koji su bili sigurni. Govoreći o brojevima koje nitko ne objavljuje.

### Podatkovni centri čuvaju svoje brojeve u tajnosti; Backblaze objavljuje

3:46 Lighthouse Reports i nizozemski list Trouw otkrili su da velika većina europskih podatkovnih centara čuva svoju potrošnju energije i vode u tajnosti, iako EU pravilo zahtijeva izvješćivanje tri godine. U Nizozemskoj, manje od četvrtine objavljuje. Samo jedan Microsoftov podatkovni centar koristi oko jedan posto nizozemske električne energije. U međuvremenu, Backblaze je ponovno učinio dosadnu stvar. Njegovi kvartalni statistički podaci o pogonima pokrivaju oko tristo pedeset tisuća tvrdih diskova, a stopa kvara porasla je na jedan točka sedamdeset tri posto,

4:16 najviša u neko vrijeme. Tri Seagate modela imala su nula kvarova. Tako izgleda javna bazna linija, kvartal za kvartalom, trinaest godina.

### Linija zasluga: Claude je pomogao u izgradnji mjerača

4:25 Sada, ta linija zasluga. Readme priznaje da je velik dio repozitorija napisan uz pomoć Claudea, što je model koji se mjeri. Dakle, Claude je pomogao izgraditi mjerač koji provjerava je li Claude postao gluplji. Zato su ocjenjivači obične funkcije. Prema riječima autora, ne biste trebali vjerovati autoru, ljudskom ili drugom. Ako biste ovo radije pročitali nego čuli, razlika stiže u vaš inbox

4:46 svako jutro, besplatno na the daily diff dot dev, link ispod. Dakle, današnja presuda o live nerfu.

### Presuda: SHIP IT, i nemojte ga citirati prije 24. listopada

4:51 SHIP IT. Ja bih ga poslao jer je to prvi argument o nerfu koji sam vidio s vremenskom oznakom, javnom pravilnikom i navedenom slijepom točkom. Samo ga nemojte citirati prije dvadeset četvrtog listopada. I to je razlika za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.

## Izvori

- [livenerf](https://github.com/ninjahawk/livenerf) — github.com
- [Validation](https://github.com/ninjahawk/livenerf/blob/main/docs/VALIDATION.md) — github.com
- [Hacker News](https://news.ycombinator.com/item?id=49901736) — news.ycombinator.com
- [Anthropic postmortem (Sep 2025)](https://www.anthropic.com/engineering/a-postmortem-of-three-recent-issues) — www.anthropic.com
- [Adding Error Bars to Evals (Evan Miller)](https://arxiv.org/abs/2411.00640) — arxiv.org
- [Inspect (UK AI Security Institute)](https://inspect.aisi.org.uk/) — inspect.aisi.org.uk
- [NL Times](https://nltimes.nl/2026/09/30/data-centers-refusing-say-much-water-electricity-use) — nltimes.nl
- [Hacker News](https://news.ycombinator.com/item?id=49907057) — news.ycombinator.com
- [Backblaze Drive Stats Q2 2026](https://www.backblaze.com/blog/backblaze-drive-stats-for-q2-2026/) — www.backblaze.com
- [Hacker News](https://news.ycombinator.com/item?id=49893002) — news.ycombinator.com