# Nola detektatu Claude nerf bat (datu errealekin)

Published: 2026-09-30

Jendeak dio Claude inozoago bihurtzen dela abian jarri eta aste gutxira. Garatzaile batek Claude Opus 5.5 erlojuaren kontra jarri zuen 30 egunez, abiarazteko astetik aurrera, galdera izoztuekin, Claude Code finkatuarekin eta arau publikoekin, eta horrek erakusten du zergatik inork ezin izan zuen aurretik jakin, eta zergatik token kopurua den ikusi beharreko gauza. Epaia: SHIP IT.

Canonical: https://thedailydiff.dev/eu/video/2026-09-30-opus-nerf-meter/

## Bideo honek zer jorratzen duen

- Claude inozoago bihurtzen da abiarazi ondoren: teoriak zero eguneko erlojua topatzen du
- livenerf: 30 eguneko erlojua Opus 5.5ean abiarazteko astetik aurrera
- Nola harrapatu nerf bat: 78 batzuetan zuzenak diren galderak
- Zer ikus dezakeen: 7.5 puntu, eta token kopurua mugitzen da lehenik
- Puntu itsua: Opus 5 truke bat eta 8 erantzun okerreko gako

## Kapituluak

- 0:00 Claude inozoago bihurtzen da abiarazi ondoren: teoriak zero eguneko erlojua topatzen du
- 0:26 livenerf: 30 eguneko erlojua Opus 5.5ean abiarazteko astetik aurrera
- 1:24 Nola harrapatu nerf bat: 78 batzuetan zuzenak diren galderak
- 2:19 Zer ikus dezakeen: 7.5 puntu, eta token kopurua mugitzen da lehenik
- 2:53 Puntu itsua: Opus 5 truke bat eta 8 erantzun okerreko gako
- 3:08 Anthropic: ez dugu inoiz ereduaren kalitatea murrizten
- 3:45 Datu-zentroek beren zenbakiak sekretuan gordetzen dituzte; Backblaze-k argitaratzen du
- 4:25 Kreditu-lerroa: Claude-k neurgailua eraikitzen lagundu zuen
- 4:50 Epaia: SHIP IT, eta ez aipatu urriaren 24a baino lehen

## Itzulitako transkripzioa

Jatorrizko ingelesezko narraziotik itzulia. Eskuragarri dauden audioa eta azpitituluak YouTube-k kontrolatzen ditu.

### Claude inozoago bihurtzen da abiarazi ondoren: teoriak zero eguneko erlojua topatzen du

0:00 Denek dakite Claude inozoago bihurtzen dela abiarazi eta aste gutxira. Beraz, garatzaile batek Opus bost puntu bost erlojuaren kontra jarri zuen abiarazteko astetik aurrera, eta erlojuak dio inork ezin zuela oraindik jakin. Bideo honetan, hiru galdera. Nola harrapatzen duzu nerf bat? Zer ikus dezake neurgailu honek? Eta zer dio Anthropic-ek? Eta repoaren kredituen lerro batek barre eginarazi zidan ozen.

0:20 Amaieran helduko diot. Asteazkena da, irailak hogeita hamar, eta hau The Daily Diff da. Hiru istorio gaur, eta handiena GitHub repo bat da, live nerf deitzen dena.

### livenerf: 30 eguneko erlojua Opus 5.5ean abiarazteko astetik aurrera

0:30 Hilabeteetan, jendeak esan du Anthropic-ek isilean nerfeatzen dituela bere ereduak abiarazi ondoren. Ohiko teoriak dira eredu estutu bat, eredu txikiago bat izen beraren azpian edo, besterik gabe, pentsamendu gutxiago. Repoak orain arteko argudio guztiak vibe vs vibe gisa deskribatzen ditu. Opus bost puntu bost irailaren hogeita bigarrenean jarri zen abian, eta duela astebete esan nizun taula independentean nagusitu zela hiru aldiz hitz gehiago idatziz batez besteko ereduak baino. Bi egun eta erdian, ninja hawk izeneko garatzaile batek erlojua martxan jarri zuen,

0:59 egunero behin hogeita hamar egunez, inork editatu ezin dituen erregistroekin. Hacker News-eko haria ia zortziehun puntura iritsi zen eta taldeko txat bat bezala banatu zen. Iruzkinlari batek dio modeloak nerfeatzea ez dela erreala kasu gehienetan. Beste batek dio jendea adimen maila berrira ohitzen ari dela. Eta Claude Code-ren erabiltzaile boteretsu batek orain 'baloratu saio hau' pop-up-a baztertzen du beti, Claude baloratzeak okertzen zuela iruditu zitzaiolako. beraz, Claude baloratzeak okerrera egiten zuela zirudien. Beraz, lehenengo galdera, nola harrapatzen duzu nerf bat?

### Nola harrapatu nerf bat: 78 batzuetan zuzenak diren galderak

1:27 Hogeita hiru ehun inguru azterketa galdera gogorrekin hasten zara, eta Opus-ek %93 zuzen lortzen du lehen saiakeran, hori ez da baliagarria detektagailu batentzat, beti zuzen lortzen duen galdera batek ezin baitu jaitsi. %97 beti zuzenak edo beti okerrak ziren, eta batzuetan bakarrik zuzen lortzen zituen hirurogeita hemezortzi panel bihurtu ziren. Prompt bera, tresnarik gabe, eta bat-etortze zehatza kalifikazioa AI epailerik gabe, epailaria ere aldatuko litzatekeelako. Max harpidetza bidez exekutatzen da, headless Claude Code bidez,

1:55 API bertsioaren prezioa hilean mila seiehun dolar inguru baitzen. Eta Claude Code bertsioa finkatuta dago, repoaren hitzetan, arnes aldatu batek aldatutako eredu baten itxura zehatza duelako. Estatistikak 'Adding Error Bars to Evals' izeneko artikulu batetik datoz, Evan Millerrek Anthropic-en idatzia. Beraz, Anthropic-en matematika propioa orain Anthropic-en auditoritza egiten ari da, eta hori bezeroarentzako arretarako zerbitzu-baldintzak aipatzearen bertsio akademikoa da. zerbitzuaren baldintzak bezeroarentzako arretari itzultzearen bertsio akademikoa da.

### Zer ikus dezakeen: 7.5 puntu, eta token kopurua mugitzen da lehenik

2:19 Bigarren galdera, zer ikus dezake? Hamar eguneko leiho bakoitzeko, zazpi puntu eta erdiko jaitsiera inguru. Sistema funtzionatzen duela frogatzeko, egileak Claude-ren esfortzua nahita jaitsi zuen. Esfortzu ertainak irteera laurden bat murriztu zuen, eta puntuazioa lau puntu bakarrik. Esfortzu baxuak irteera ia bi heren murriztu zuen, zortzi punturengatik. Hori da lapurtzeko zatia. Pentsamendu gutxiago token kopuruan agertzen da erantzunetan agertu baino lehen.

2:43 Beraz, finkatu zure modeloaren bertsioa, erregistratu irteera tokenak zeregin bakoitzeko, eta gorde zeure galdera izoztu batzuk. Zure agenteak bat-batean laburrago idazten badu, egiaztatu zure erregistroak Reddit-era joan baino lehen. Eta hona hemen zati zintzoa.

### Puntu itsua: Opus 5 truke bat eta 8 erantzun okerreko gako

2:54 Opus bost zaharragoa isilean trukatzea aldaketa txikiegia zen sistemak deitzeko, eta README-ak horrela dio hasieratik. Auditoriaren bidez, oker zeuden zortzi erantzun-gako ere aurkitu ziren, beraz, nerf detektagailuak benchmark-ean akatsak aurkitu zituen nerf bat aurkitu baino lehen.

### Anthropic: ez dugu inoiz ereduaren kalitatea murrizten

3:08 Hirugarren galdera, zer dio Anthropic-ek? Iaz, kexa uholde baten ondoren, Anthropic-ek postmortem bat argitaratu zuen. Dio, aipu, ez dugu inoiz modeloaren kalitatea murrizten eskaria dela eta, orduaren edo zerbitzariaren kargaren ondorioz. Mezu horretan hiru akats onartzen dira, Claude-ren kalitatea murriztu zutenak, eta Claude Code erabiltzaileen ia heren batek zerbitzari okerretara sartu zen gutxienez behin. Beraz, kexak errealak ziren eta kausa akatsak ziren, horregatik repoak ohartarazten du abiarazteko astea aste txarrena izan zitekeela.

3:35 Hogeita hamar egunetik sei pasa dira. Lehen dei posiblea urriaren hogeita lauan izango da, beraz, erantzun zintzoa da inork ez dakiela, ziur zeuden guztiak barne. Inork argitaratzen ez dituen zenbakiez hitz eginez.

### Datu-zentroek beren zenbakiak sekretuan gordetzen dituzte; Backblaze-k argitaratzen du

3:46 Lighthouse Reports eta Trouw egunkari nederlandarrak aurkitu zuten Europako datu-zentroen gehiengo handiak beraien energia eta ur kontsumoa sekretuan gordetzen duela, nahiz eta EBko arau batek hiru urtez informazioa eskatzen duen. Herbehereetan, laurden bat baino gutxiagok argitaratzen du. Microsoft datu-zentro bakar batek Herbehereetako elektrizitatearen %1 inguru erabiltzen du. Bitartean, Backblaze-k gauza aspergarria egin zuen berriro ere. Bere hiruhilekoko diskoen estatistikak hirurehun eta berrogeita hamar mila disko gogor inguru biltzen ditu, eta akats tasa %1.73ra igo zen,

4:16 aspaldi honetako altuena. Hiru Seagate modeloek ez zuten akatsik izan. Horrelakoa da oinarri publiko bat, hiruhilekoz hiruhileko, hamahiru urtez.

### Kreditu-lerroa: Claude-k neurgailua eraikitzen lagundu zuen

4:25 Orain, kreditu-lerro hori. README-ak onartzen du repoaren zati handi bat Claude-ren laguntzarekin idatzi zela, hau da neurtzen ari den modeloa. Beraz, Claude-k Claude inozoago bihurtu den egiaztatzen duen neurgailua eraikitzen lagundu zuen. Horregatik dira kalifikatzaileak funtzio soilak. Egilearen hitzetan, ez zenuke egilearengan fidatu behar, gizakia izan edo ez. Hau irakurri nahiago baduzu entzun baino, diff-a zure sarrera-ontzian lurreratzen da

4:46 goizero, doan the daily diff dot dev-en, beheko estekan. Beraz, gaurko live nerf-en epaia.

### Epaia: SHIP IT, eta ez aipatu urriaren 24a baino lehen

4:51 SHIP IT. Bidali egingo nuke, izan ere, ikusi dudan lehen nerf argudioa da, data-marka, arau-liburu publiko bat eta puntu itsu adierazi bat dituena. Ez aipatu urriaren hogeita laua baino lehen. Eta hori da gaurko diff-a. Niko naiz, Axrisi-koa. Batu arduraz.

## Iturriak

- [livenerf](https://github.com/ninjahawk/livenerf) — github.com
- [Validation](https://github.com/ninjahawk/livenerf/blob/main/docs/VALIDATION.md) — github.com
- [Hacker News](https://news.ycombinator.com/item?id=49901736) — news.ycombinator.com
- [Anthropic postmortem (Sep 2025)](https://www.anthropic.com/engineering/a-postmortem-of-three-recent-issues) — www.anthropic.com
- [Adding Error Bars to Evals (Evan Miller)](https://arxiv.org/abs/2411.00640) — arxiv.org
- [Inspect (UK AI Security Institute)](https://inspect.aisi.org.uk/) — inspect.aisi.org.uk
- [NL Times](https://nltimes.nl/2026/09/30/data-centers-refusing-say-much-water-electricity-use) — nltimes.nl
- [Hacker News](https://news.ycombinator.com/item?id=49907057) — news.ycombinator.com
- [Backblaze Drive Stats Q2 2026](https://www.backblaze.com/blog/backblaze-drive-stats-for-q2-2026/) — www.backblaze.com
- [Hacker News](https://news.ycombinator.com/item?id=49893002) — news.ycombinator.com