Nola detektatu Claude nerf bat (datu errealekin)
Jendeak dio Claude inozoago bihurtzen dela abian jarri eta aste gutxira.
Jendeak dio Claude inozoago bihurtzen dela abian jarri eta aste gutxira. Garatzaile batek Claude Opus 5.5 erlojuaren kontra jarri zuen 30 egunez, abiarazteko astetik aurrera, galdera izoztuekin, Claude Code finkatuarekin eta arau publikoekin, eta horrek erakusten du zergatik inork ezin izan zuen aurretik jakin, eta zergatik token kopurua den ikusi beharreko gauza. Epaia: SHIP IT.
Irakurri idatzizko edizioa (ingelesez) ↗
Bideo honek zer jorratzen duen
- Claude inozoago bihurtzen da abiarazi ondoren: teoriak zero eguneko erlojua topatzen du
- livenerf: 30 eguneko erlojua Opus 5.5ean abiarazteko astetik aurrera
- Nola harrapatu nerf bat: 78 batzuetan zuzenak diren galderak
- Zer ikus dezakeen: 7.5 puntu, eta token kopurua mugitzen da lehenik
- Puntu itsua: Opus 5 truke bat eta 8 erantzun okerreko gako
Galderak eta erantzunak
Nola probatu daiteke adimen artifizialeko modelo bat isilpean okertu den ala ez abian jarri ondoren?
Exekutatu galdera finko berberak ordutegi finko batean eta kalifikatu itzazu bat etortze zehatzarekin. Livenerf biltegiak 30 eguneko erlojua exekutatzen du Claude Opus 5.5-en, egunean behin, inork ezin dituen editatu erregistroekin. 78 galdera erabiltzen ditu, modeloak batzuetan bakarrik asmatzen dituenak, beti zuzen erantzuten duen galdera batek ezin duelako jaitsi. Claude Code bertsioa finkatzen du, arnes aldatu batek modelo aldatu baten itxura duelako.
Zein tamainako jaitsiera detekta dezake livenerf neurgailuak?
Hamar eguneko leiho bakoitzeko, neurgailuak 7.5 puntu inguruko jaitsiera ikus dezake. Gailuak funtzionatzen duela frogatzeko, egileak nahita jaitsi zuen Clauderen ahalegina. Ahalegin baxuak irteera ia bi heren murriztu zuen eta puntuazioa zortzi puntu. Opus 5 zaharragoa isilpean aldatzea aldaketa txikiegia zen gailuak deitzeko, eta readme-ak hasieratik dio hori.
Zer jarraitu beharko lukete garatzaileek AI agente bat gutxiago pentsatzen ari den nabaritzeko?
Ataza bakoitzeko irteerako token kopurua. Livenerf probetan, pentsamendu gutxiago token kopuruan agertu zen erantzunetan agertu baino lehen. Pasarteak zure modeloaren bertsioa finkatzea, ataza bakoitzeko irteerako tokenak erregistratzea eta zeure galdera finko batzuk gordetzea iradokitzen du. Zure agenteak bat-batean laburrago idazten badu, egiaztatu zure erregistroak lehenik.
Anthropic-ek dio Clauderen kalitatea murrizten duela eskaera handia denean?
Anthropic-ek ezetz dio. 2025eko iraileko postmortem-ean dio ez duela inoiz modeloaren kalitatea murrizten eskaeraren, eguneko orduaren edo zerbitzariaren kargaren ondorioz. Mezu berak onartzen du hiru akatsek Claude okertu zutela, eta Claude Code erabiltzaileen ia heren batek zerbitzari okerrak jo zituela gutxienez behin.
Livenerf emaitzak fidagarriak izan al daitezke Claude nerf bat erakusteko?
The Daily Diff-en epaia SHIP IT izan zen proiekturako, izan ere, denbora-zigilu, arau-liburu publiko eta puntu itsu adierazi bat duen lehen nerf argudioa da. Pasarteak dio ez dela aipatu behar urriaren 24a baino lehen, hogeita hamar egunetatik sei bakarrik igaro zirelako eta orduan gertatzen delako lehen deialdi posiblea. Auditoreak ere 8 erantzun-gako oker ziruditen aurkitu zituen.
Itzulitako transkripzioa
Jatorrizko ingelesezko narraziotik itzulia. Eskuragarri dauden audioa eta azpitituluak YouTube-k kontrolatzen ditu.
Claude inozoago bihurtzen da abiarazi ondoren: teoriak zero eguneko erlojua topatzen du
0:00 Denek dakite Claude inozoago bihurtzen dela abiarazi eta aste gutxira. Beraz, garatzaile batek Opus bost puntu bost erlojuaren kontra jarri zuen abiarazteko astetik aurrera, eta erlojuak dio inork ezin zuela oraindik jakin. Bideo honetan, hiru galdera. Nola harrapatzen duzu nerf bat? Zer ikus dezake neurgailu honek? Eta zer dio Anthropic-ek? Eta repoaren kredituen lerro batek barre eginarazi zidan ozen.
0:20 Amaieran helduko diot. Asteazkena da, irailak hogeita hamar, eta hau The Daily Diff da. Hiru istorio gaur, eta handiena GitHub repo bat da, live nerf deitzen dena.
livenerf: 30 eguneko erlojua Opus 5.5ean abiarazteko astetik aurrera
0:30 Hilabeteetan, jendeak esan du Anthropic-ek isilean nerfeatzen dituela bere ereduak abiarazi ondoren. Ohiko teoriak dira eredu estutu bat, eredu txikiago bat izen beraren azpian edo, besterik gabe, pentsamendu gutxiago. Repoak orain arteko argudio guztiak vibe vs vibe gisa deskribatzen ditu. Opus bost puntu bost irailaren hogeita bigarrenean jarri zen abian, eta duela astebete esan nizun taula independentean nagusitu zela hiru aldiz hitz gehiago idatziz batez besteko ereduak baino. Bi egun eta erdian, ninja hawk izeneko garatzaile batek erlojua martxan jarri zuen,
0:59 egunero behin hogeita hamar egunez, inork editatu ezin dituen erregistroekin. Hacker News-eko haria ia zortziehun puntura iritsi zen eta taldeko txat bat bezala banatu zen. Iruzkinlari batek dio modeloak nerfeatzea ez dela erreala kasu gehienetan. Beste batek dio jendea adimen maila berrira ohitzen ari dela. Eta Claude Code-ren erabiltzaile boteretsu batek orain 'baloratu saio hau' pop-up-a baztertzen du beti, Claude baloratzeak okertzen zuela iruditu zitzaiolako. beraz, Claude baloratzeak okerrera egiten zuela zirudien. Beraz, lehenengo galdera, nola harrapatzen duzu nerf bat?
Nola harrapatu nerf bat: 78 batzuetan zuzenak diren galderak
1:27 Hogeita hiru ehun inguru azterketa galdera gogorrekin hasten zara, eta Opus-ek %93 zuzen lortzen du lehen saiakeran, hori ez da baliagarria detektagailu batentzat, beti zuzen lortzen duen galdera batek ezin baitu jaitsi. %97 beti zuzenak edo beti okerrak ziren, eta batzuetan bakarrik zuzen lortzen zituen hirurogeita hemezortzi panel bihurtu ziren. Prompt bera, tresnarik gabe, eta bat-etortze zehatza kalifikazioa AI epailerik gabe, epailaria ere aldatuko litzatekeelako. Max harpidetza bidez exekutatzen da, headless Claude Code bidez,
1:55 API bertsioaren prezioa hilean mila seiehun dolar inguru baitzen. Eta Claude Code bertsioa finkatuta dago, repoaren hitzetan, arnes aldatu batek aldatutako eredu baten itxura zehatza duelako. Estatistikak 'Adding Error Bars to Evals' izeneko artikulu batetik datoz, Evan Millerrek Anthropic-en idatzia. Beraz, Anthropic-en matematika propioa orain Anthropic-en auditoritza egiten ari da, eta hori bezeroarentzako arretarako zerbitzu-baldintzak aipatzearen bertsio akademikoa da. zerbitzuaren baldintzak bezeroarentzako arretari itzultzearen bertsio akademikoa da.
Zer ikus dezakeen: 7.5 puntu, eta token kopurua mugitzen da lehenik
2:19 Bigarren galdera, zer ikus dezake? Hamar eguneko leiho bakoitzeko, zazpi puntu eta erdiko jaitsiera inguru. Sistema funtzionatzen duela frogatzeko, egileak Claude-ren esfortzua nahita jaitsi zuen. Esfortzu ertainak irteera laurden bat murriztu zuen, eta puntuazioa lau puntu bakarrik. Esfortzu baxuak irteera ia bi heren murriztu zuen, zortzi punturengatik. Hori da lapurtzeko zatia. Pentsamendu gutxiago token kopuruan agertzen da erantzunetan agertu baino lehen.
2:43 Beraz, finkatu zure modeloaren bertsioa, erregistratu irteera tokenak zeregin bakoitzeko, eta gorde zeure galdera izoztu batzuk. Zure agenteak bat-batean laburrago idazten badu, egiaztatu zure erregistroak Reddit-era joan baino lehen. Eta hona hemen zati zintzoa.
Puntu itsua: Opus 5 truke bat eta 8 erantzun okerreko gako
2:54 Opus bost zaharragoa isilean trukatzea aldaketa txikiegia zen sistemak deitzeko, eta README-ak horrela dio hasieratik. Auditoriaren bidez, oker zeuden zortzi erantzun-gako ere aurkitu ziren, beraz, nerf detektagailuak benchmark-ean akatsak aurkitu zituen nerf bat aurkitu baino lehen.
Anthropic: ez dugu inoiz ereduaren kalitatea murrizten
3:08 Hirugarren galdera, zer dio Anthropic-ek? Iaz, kexa uholde baten ondoren, Anthropic-ek postmortem bat argitaratu zuen. Dio, aipu, ez dugu inoiz modeloaren kalitatea murrizten eskaria dela eta, orduaren edo zerbitzariaren kargaren ondorioz. Mezu horretan hiru akats onartzen dira, Claude-ren kalitatea murriztu zutenak, eta Claude Code erabiltzaileen ia heren batek zerbitzari okerretara sartu zen gutxienez behin. Beraz, kexak errealak ziren eta kausa akatsak ziren, horregatik repoak ohartarazten du abiarazteko astea aste txarrena izan zitekeela.
3:35 Hogeita hamar egunetik sei pasa dira. Lehen dei posiblea urriaren hogeita lauan izango da, beraz, erantzun zintzoa da inork ez dakiela, ziur zeuden guztiak barne. Inork argitaratzen ez dituen zenbakiez hitz eginez.
Datu-zentroek beren zenbakiak sekretuan gordetzen dituzte; Backblaze-k argitaratzen du
3:46 Lighthouse Reports eta Trouw egunkari nederlandarrak aurkitu zuten Europako datu-zentroen gehiengo handiak beraien energia eta ur kontsumoa sekretuan gordetzen duela, nahiz eta EBko arau batek hiru urtez informazioa eskatzen duen. Herbehereetan, laurden bat baino gutxiagok argitaratzen du. Microsoft datu-zentro bakar batek Herbehereetako elektrizitatearen %1 inguru erabiltzen du. Bitartean, Backblaze-k gauza aspergarria egin zuen berriro ere. Bere hiruhilekoko diskoen estatistikak hirurehun eta berrogeita hamar mila disko gogor inguru biltzen ditu, eta akats tasa %1.73ra igo zen,
4:16 aspaldi honetako altuena. Hiru Seagate modeloek ez zuten akatsik izan. Horrelakoa da oinarri publiko bat, hiruhilekoz hiruhileko, hamahiru urtez.
Kreditu-lerroa: Claude-k neurgailua eraikitzen lagundu zuen
4:25 Orain, kreditu-lerro hori. README-ak onartzen du repoaren zati handi bat Claude-ren laguntzarekin idatzi zela, hau da neurtzen ari den modeloa. Beraz, Claude-k Claude inozoago bihurtu den egiaztatzen duen neurgailua eraikitzen lagundu zuen. Horregatik dira kalifikatzaileak funtzio soilak. Egilearen hitzetan, ez zenuke egilearengan fidatu behar, gizakia izan edo ez. Hau irakurri nahiago baduzu entzun baino, diff-a zure sarrera-ontzian lurreratzen da
4:46 goizero, doan the daily diff dot dev-en, beheko estekan. Beraz, gaurko live nerf-en epaia.
Epaia: SHIP IT, eta ez aipatu urriaren 24a baino lehen
4:51 SHIP IT. Bidali egingo nuke, izan ere, ikusi dudan lehen nerf argudioa da, data-marka, arau-liburu publiko bat eta puntu itsu adierazi bat dituena. Ez aipatu urriaren hogeita laua baino lehen. Eta hori da gaurko diff-a. Niko naiz, Axrisi-koa. Batu arduraz.
Iturriak
- livenerfgithub.com
- Validationgithub.com
- Hacker Newsnews.ycombinator.com
- Anthropic postmortem (Sep 2025)www.anthropic.com
- Adding Error Bars to Evals (Evan Miller)arxiv.org
- Inspect (UK AI Security Institute)inspect.aisi.org.uk
- NL Timesnltimes.nl
- Hacker Newsnews.ycombinator.com
- Backblaze Drive Stats Q2 2026www.backblaze.com
- Hacker Newsnews.ycombinator.com



