Kako otkriti Claude nerf (sa stvarnim podacima)

Šta ovaj video pokriva

• Claude postaje gluplji nakon lansiranja: teorija se susreće sa dnevnim satom
• livenerf: 30-dnevni sat na Opus 5.5 od nedelje lansiranja
• Kako uhvatiti nerf: 78 ponekad tačnih pitanja
• Šta može da vidi: 7.5 poena, a broj tokena se prvi pomera
• Slepa tačka: zamena Opusa 5 i 8 pogrešnih ključeva za odgovore

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

Claude postaje gluplji nakon lansiranja: teorija se susreće sa dnevnim satom

0:00 Svi znaju da Claude postaje gluplji nekoliko nedelja nakon lansiranja. Tako je jedan programer stavio Opus pet tačka pet na sat od nedelje lansiranja, a sat kaže da niko još nije mogao da zna. U ovom videu, tri pitanja. Kako uhvatiti nerf? Šta ovaj merač može da vidi? A šta kaže Anthropic? I jedna linija u kreditima repozitorijuma me je nasmejala naglas.

0:20 Doći ću do toga na kraju. Sreda je, trideseti septembar, i ovo je The Daily Diff. Tri priče danas, a velika je GitHub repozitorijum pod nazivom live nerf.

livenerf: 30-dnevni sat na Opus 5.5 od nedelje lansiranja

0:30 Mesecima ljudi govore da Anthropic tiho nerfuje svoje modele nakon lansiranja. Uobičajene teorije su stisnut model, manji model pod istim imenom ili jednostavno manje razmišljanja. Repozitorijum naziva svaki dosadašnji argument vibracije protiv vibracija. Opus pet tačka pet je isporučen dvadeset drugog septembra, a pre nedelju dana sam vam rekao da je bio na vrhu nezavisne liste dok je pisao tri puta više reči od prosečnog modela. Posle dva i po dana, programer pod nazivom ninja hawk je pokrenuo sat,

0:59 jednom dnevno tokom trideset dana, sa logovima koje niko ne sme da uređuje. Nit na Hacker News-u je dostigla skoro osamsto poena i podelila se kao timski čet. Jedan komentator kaže da nerfing modela nije stvaran u velikoj većini prijavljenih slučajeva. Drugi kaže da se ljudi samo navikavaju na novi nivo inteligencije. I jedan napredni korisnik Claude koda sada odbacuje iskačući prozor za ocenjivanje sesije svaki put, jer se činilo da ocenjivanje Claude-a pogoršava stvari. Recenzija. Dakle, pitanje jedno, kako uhvatiti nerf?

Kako uhvatiti nerf: 78 ponekad tačnih pitanja

1:27 Počinjete sa oko dve hiljade trista teških ispitnih pitanja, i Opus dobija devedeset tri posto tačnih odgovora iz prvog pokušaja, što je beskorisno za detektor, jer pitanje na koje uvek tačno odgovori ne može da padne. Devedeset sedam posto je uvek bilo tačno ili uvek pogrešno, a sedamdeset osam na koje je samo ponekad tačno odgovarao postalo je panel. Isti prompt, bez alata, i ocenjivanje tačnog podudaranja bez AI sudije, jer bi i sudija lutao. Radi na Max pretplati kroz headless Claude Code,

1:55 pošto je verzija API-ja koštala oko šesnaest stotina dolara mesečno. A verzija Claude koda je zakačena, jer, prema rečima repozitorijuma, promenjen oklop izgleda tačno kao promenjen model. Statistika dolazi iz rada pod nazivom Dodavanje traka grešaka Evalima, autora Evana Millera iz Anthropic-a. Dakle, Anthropic-ova sopstvena matematika sada revidira Anthropic, što je akademska verzija citiranja uslova korišćenja nazad korisničkoj podršci.

Šta može da vidi: 7.5 poena, a broj tokena se prvi pomera

2:19 Pitanje dva, šta može da vidi? Po desetodnevnom prozoru, pad od oko sedam i po poena. Da bi dokazao da oprema radi, autor je namerno smanjio Claude-ov napor. Srednji napor je smanjio izlaz za oko četvrtinu, a rezultat za samo četiri poena. Mali napor je smanjio izlaz za skoro dve trećine, za osam poena. To je deo za krađu. Manje razmišljanja se prvo pojavljuje u broju tokena pre nego što se pojavi u odgovorima.

2:43 Zato zakačite verziju modela, beležite izlazne tokene po zadatku, i zadržite nekoliko svojih zamrznutih pitanja. Ako vaš agent odjednom piše kraće, proverite svoje logove pre nego što proverite Reddit. I evo poštenog dela.

Slepa tačka: zamena Opusa 5 i 8 pogrešnih ključeva za odgovore

2:54 Tiha zamena starijeg Opusa pet bila je premala promena da bi je oprema nazvala, i readme to odmah kaže. Revizija je takođe pronašla osam ključeva za odgovore koji izgledaju pogrešno, pa je detektor nerfa pronašao greške u benčmarku pre nego što je pronašao nerf.

Anthropic: nikada ne smanjujemo kvalitet modela

3:08 Pitanje tri, šta kaže Anthropic? Prošle godine, nakon talasa žalbi, Anthropic je objavio postmortem. Kaže, citiram, nikada ne smanjujemo kvalitet modela zbog potražnje, doba dana ili opterećenja servera. Isti post priznaje da su tri greške degradirale Claude-a, i skoro trećina korisnika Claude koda je barem jednom pogodila pogrešne servere. Dakle, žalbe su bile stvarne i uzrok su bile greške, zbog čega repozitorijum upozorava da nedelja lansiranja može biti najgora nedelja.

3:35 Šest od trideset dana je prošlo. Prvi mogući poziv pada oko dvadeset četvrtog oktobra, tako da je iskren odgovor da niko ne zna, uključujući sve koji su bili sigurni. Govoreći o brojevima koje niko ne objavljuje.

Data centri čuvaju svoje brojeve u tajnosti; Backblaze objavljuje

3:46 Lighthouse Reports i holandski list Trouw otkrili su da velika većina evropskih data centara čuva svoju potrošnju energije i vode u tajnosti, iako EU pravilo zahteva izveštavanje već tri godine. U Holandiji, manje od četvrtine objavljuje. Samo jedan Microsoft data centar koristi oko jedan posto holandske električne energije. U međuvremenu, Backblaze je ponovo uradio dosadnu stvar. Njegovi kvartalni podaci o diskovima pokrivaju oko trista pedeset hiljada hard diskova, a stopa kvarova je porasla na jedan tačka sedam tri posto,

4:16 najviša u neko vreme. Tri Seagate modela su imala nula kvarova. Tako izgleda javna osnovna linija, kvartal za kvartalom, trinaest godina.

Linija kredita: Claude je pomogao u izgradnji merača

4:25 Sada, ta linija kredita. Readme priznaje da je veliki deo repozitorijuma napisan uz pomoć Claude-a, što je model koji se meri. Dakle, Claude je pomogao u izgradnji merača koji proverava da li je Claude postao gluplji. Zato su ocenjivači obične funkcije. Prema rečima autora, ne biste trebali verovati autoru, ljudskom ili drugom. Ako biste radije pročitali ovo nego da me čujete kako govorim, razlika stiže u vaše sanduče

4:46 svakog jutra, besplatno na the daily diff dot dev, link ispod. Dakle, današnja presuda o live nerf-u.

Presuda: SHIP IT, i ne citirajte pre 24. oktobra

4:51 SHIP IT. Ja bih ga isporučio jer je to prvi argument o nerfu koji sam video sa vremenskom oznakom, javnom knjigom pravila i navedenom slepom tačkom. Samo ga nemojte citirati pre dvadeset četvrtog oktobra. I to je razlika za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com