Kako otkriti nerf Claudea (sa stvarnim podacima)

Šta ovaj video pokriva

• Claude postaje gluplji nakon lansiranja: teorija se susreće s day-zero satom
• livenerf: 30-dnevni sat na Opusu 5.5 od tjedna lansiranja
• Kako uhvatiti nerf: 78 ponekad točnih pitanja
• Što može vidjeti: 7,5 bodova, i broj tokena se prvi pomiče
• Mrtva točka: zamjena Opusa 5 i 8 pogrešnih ključeva odgovora

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

Claude postaje gluplji nakon lansiranja: teorija se susreće s day-zero satom

0:00 Svi znaju da Claude postaje gluplji nekoliko tjedana nakon lansiranja. Tako je jedan developer stavio Opus pet točka pet na sat od tjedna lansiranja, i sat kaže da nitko još nije mogao znati. U ovom videu, tri pitanja. Kako uhvatiti nerf? Što ovaj mjerač može vidjeti? I što Anthropic kaže? I jedna rečenica u zaslugama repozitorija me je nasmijala naglas.

0:20 Doći ću do toga na kraju. Srijeda je, trideseti septembar, i ovo je The Daily Diff. Danas tri priče, a velika je GitHub repozitorij pod nazivom live nerf.

livenerf: 30-dnevni sat na Opusu 5.5 od tjedna lansiranja

0:30 Mjesecima ljudi govore da Anthropic tiho nerfa svoje modele nakon lansiranja. Uobičajene teorije su stisnuti model, manji model pod istim imenom ili jednostavno manje razmišljanja. Repozitorij sve dosadašnje argumente naziva vibrama protiv vibri. Opus pet točka pet je isporučen dvadeset drugog septembra, i prije tjedan dana sam vam rekao da je bio na vrhu neovisne ljestvice dok je pisao tri puta više riječi od prosječnog modela. Dva i pol dana nakon toga, developer pod nazivom ninja hawk je pokrenuo sat,

0:59 jednom dnevno trideset dana, s logovima koje nitko ne smije uređivati. Nit na Hacker Newsu dosegao je gotovo osam stotina bodova i podijelio se kao timski chat. Jedan komentator kaže da nerfanje modela nije stvarno u velikoj većini prijavljenih slučajeva. Drugi kaže da se ljudi samo navikavaju na novu razinu inteligencije. I jedan napredni korisnik Claude Codea sada svaki put odbacuje skočni prozor za ocjenjivanje sesije, jer se činilo da ocjenjivanje Claudea pogoršava stvari. Recenzija. Dakle, pitanje prvo, kako uhvatiti nerf?

Kako uhvatiti nerf: 78 ponekad točnih pitanja

1:27 Počinjete s otprilike dvadeset i tri stotine teških ispitnih pitanja, i Opus dobiva devedeset i tri posto točno iz prvog pokušaja, što je beskorisno za detektor, budući da pitanje na koje uvijek dobije točan odgovor ne može pasti. Devedeset i sedam posto je uvijek bilo točno ili uvijek netočno, a sedamdeset i osam na koje je samo ponekad dobivao točan odgovor postalo je panel. Isti upit, bez alata, i ocjenjivanje s točnim podudaranjem bez AI suca, jer bi i sudac odlutao. Radi na Max pretplati putem bezglavog Claude Codea,

1:55 budući da je API verzija koštala oko šesnaest stotina dolara mjesečno. I Claude Code verzija je zakačena, jer, prema riječima repozitorija, izmijenjeni pojas izgleda potpuno isto kao izmijenjeni model. Statistika dolazi iz rada pod nazivom Dodavanje traka pogreške u ocjene, od Evana Millera iz Anthropica. Dakle, Anthropicova vlastita matematika sada revidira Anthropic, što je akademska verzija citiranja uvjeta usluge natrag korisničkoj podršci.

Što može vidjeti: 7,5 bodova, i broj tokena se prvi pomiče

2:19 Pitanje drugo, što može vidjeti? Po desetodnevnom prozoru, pad od oko sedam i pol bodova. Kako bi dokazao da oprema radi, autor je namjerno smanjio Claudeov napor. Srednji napor smanjio je izlaz za oko četvrtinu, a rezultat za samo četiri boda. Mali napor smanjio je izlaz za gotovo dvije trećine, za osam bodova. To je dio koji treba ukrasti. Manje razmišljanja se pokazuje u broju tokena prije nego što se pokaže u odgovorima.

2:43 Zato zakačite svoju verziju modela, zabilježite izlazne tokene po zadatku, i zadržite nekoliko vlastitih zamrznutih pitanja. Ako vaš agent iznenada piše kraće, provjerite svoje logove prije nego što provjerite Reddit. I evo iskrenog dijela.

Mrtva točka: zamjena Opusa 5 i 8 pogrešnih ključeva odgovora

2:54 Tiha zamjena starijeg Opusa pet bila je premala promjena da bi je oprema mogla prepoznati, i readme to odmah kaže. Revizija je također pronašla osam ključeva odgovora koji izgledaju pogrešno, tako da je detektor nerfa pronašao greške u benchmarku prije nego što je pronašao nerf.

Anthropic: nikada ne smanjujemo kvalitetu modela

3:08 Pitanje treće, što Anthropic kaže? Prošle godine, nakon vala pritužbi, Anthropic je objavio postmortem. Kaže, citiram, nikada ne smanjujemo kvalitetu modela zbog potražnje, doba dana ili opterećenja poslužitelja. Isti post priznaje da su tri greške degradirale Claudea, i gotovo trećina korisnika Claude Codea pogodila je pogrešne poslužitelje barem jednom. Dakle, pritužbe su bile stvarne, a uzrok su bile greške, zbog čega repozitorij upozorava da tjedan lansiranja može biti najgori tjedan.

3:35 Šest od trideset dana je prošlo. Prvi mogući poziv stiže oko dvadeset i četvrtog oktobra, tako da je iskren odgovor da nitko ne zna, uključujući sve koji su bili sigurni. Govoreći o brojevima koje nitko ne objavljuje.

Podatkovni centri čuvaju svoje brojeve u tajnosti; Backblaze objavljuje

3:46 Lighthouse Reports i nizozemske novine Trouw otkrili su da velika većina europskih podatkovnih centara čuva svoju potrošnju energije i vode u tajnosti, iako EU pravilo zahtijeva izvještavanje tri godine. U Nizozemskoj, manje od četvrtine objavljuje. Samo jedan Microsoftov podatkovni centar koristi oko jedan posto nizozemske električne energije. U međuvremenu, Backblaze je ponovno učinio dosadnu stvar. Njegova tromjesečna statistika diskova pokriva oko tri stotine pedeset tisuća tvrdih diskova, a stopa kvarova porasla je na jedan točka sedamdeset i tri posto,

4:16 najviša u neko vrijeme. Tri Seagate modela imala su nula kvarova. Tako izgleda javna osnovna linija, tromjesečje za tromjesečjem, trinaest godina.

Linija zasluga: Claude je pomogao u izgradnji mjerača

4:25 Sada, ta linija zasluga. Readme priznaje da je velik dio repozitorija napisan uz pomoć Claudea, što je model koji se mjeri. Dakle, Claude je pomogao izgraditi mjerač koji provjerava je li Claude postao gluplji. Zato su ocjenjivači obične funkcije. Prema riječima autora, ne biste trebali vjerovati autoru, ljudskom ili drugom. Ako ovo radije čitate nego čujete, diff stiže u vaš inbox

4:46 svako jutro, besplatno na the daily diff dot dev, link ispod. Dakle, današnja presuda o live nerfu.

Presuda: SHIP IT, i nemojte ga citirati prije 24. oktobra

4:51 SHIP IT. Poslao bih ga jer je to prvi argument o nerfu koji sam vidio s vremenskom oznakom, javnom knjigom pravila i navedenom mrtvom točkom. Samo ga nemojte citirati prije dvadeset i četvrtog oktobra. I to je diff za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com