+− THE DAILY DIFFdev & AI news
SHIP IT

Ako odhaliť oslabenie Claude (so skutočnými dátami)

Ľudia hovoria, že Claude sa stáva hlúpejším niekoľko týždňov po každom spustení.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Ľudia hovoria, že Claude sa stáva hlúpejším niekoľko týždňov po každom spustení. Jeden vývojár spustil Claude Opus 5.5 na 30-dňové meranie od týždňa spustenia, s nemennými otázkami, pripnutým kódom Claude Code a verejnými pravidlami, a ukazuje to, prečo to nikto predtým nemohol vedieť, a prečo je počet vašich tokenov to, čo treba sledovať. Verdikt: SHIP IT.

Prečítajte si písanú edíciu (anglicky) ↗

Čo toto video pokrýva

  • Claude je po spustení hlúpejší: teória sa stretáva s meraním od nultého dňa
  • livenerf: 30-dňové meranie Opus 5.5 od týždňa spustenia
  • Ako odhaliť oslabenie: 78 niekedy správnych otázok
  • Čo môže vidieť: 7,5 bodu a počet tokenov sa hýbe ako prvý
  • Slepá škvrna: výmena Opus 5 a 8 nesprávnych kľúčov odpovedí

Otázky a odpovede

Ako môžete otestovať, či bol model AI po spustení potichu zhoršený?

Spúšťajte rovnaké zmrazené otázky podľa pevného plánu a hodnotte ich presnou zhodou. Repo livenerf spúšťa 30-dňový cyklus na Claude Opus 5.5, raz denne, s logmi, ktoré nikto nemôže upravovať. Používa 78 otázok, ktoré model len niekedy zodpovie správne, pretože otázka, na ktorú vždy odpovie správne, nemôže klesnúť. Pripne verziu Claude Code, pretože zmenený rámec vyzerá ako zmenený model.

Pozrite si túto časť 1:24 · github.com · github.com

Akú veľkosť poklesu dokáže merač livenerf detekovať?

Za desaťdňové okno dokáže merač zaznamenať pokles o približne 7,5 bodu. Aby sa preukázala funkčnosť zariadenia, autor úmyselne znížil snahu Claudeho. Nízka snaha znížila výstup takmer o dve tretiny a skóre o osem bodov. Tiché vymenenie staršieho Opus 5 bolo príliš malou zmenou na to, aby ju zariadenie zaznamenalo, a readme to vopred uvádza.

Pozrite si túto časť 2:19 · github.com · github.com

Čo by mali vývojári sledovať, aby si všimli, či AI agent menej premýšľa?

Počet výstupných tokenov na úlohu. V testoch livenerf sa menšie premýšľanie prejavilo v počte tokenov skôr, ako sa prejavilo v odpovediach. Epizóda naznačuje pripnutie verzie modelu, zaznamenávanie výstupných tokenov na úlohu a udržiavanie niekoľkých vlastných zmrazených otázok. Ak váš agent náhle píše kratšie, najprv skontrolujte svoje záznamy.

Pozrite si túto časť 2:19 · github.com · news.ycombinator.com

Tvrdí Anthropic, že znižuje kvalitu Claudeho, keď je vysoký dopyt?

Anthropic tvrdí, že nie. Jeho posmrtná analýza zo septembra 2025 uvádza, že nikdy neznižuje kvalitu modelu z dôvodu dopytu, dennej doby alebo zaťaženia servera. Rovnaký príspevok priznáva, že tri chyby zhoršili Claudeho a že takmer tretina používateľov Claude Code narazila na nesprávne servery aspoň raz.

Pozrite si túto časť 3:08 · www.anthropic.com

Dajú sa výsledkom livenerf dôverovať, že už ukazujú Claude nerf?

Rozsudok The Daily Diff bol SHIP IT pre projekt, pretože je to prvý argument nerfu s časovou pečiatkou, verejným súborom pravidiel a deklarovaným slepým miestom. Epizóda hovorí, aby ste ho necitovali pred 24. októbrom, pretože bolo len šesť z tridsiatich dní a prvé možné rozhodnutie príde vtedy. Audit tiež našiel 8 kľúčov k odpovediam, ktoré vyzerajú nesprávne.

Pozrite si túto časť 4:50 · github.com · github.com · news.ycombinator.com

Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

Claude je po spustení hlúpejší: teória sa stretáva s meraním od nultého dňa

0:00 Každý vie, že Claude sa stáva hlúpejším niekoľko týždňov po spustení. Takže jeden vývojár spustil Opus päť bodov päť na meranie od týždňa spustenia, a meranie hovorí, že to nikto nemohol zatiaľ vedieť. V tomto videu sú tri otázky. Ako odhalíte oslabenie? Čo tento merač dokáže vidieť? A čo hovorí Anthropic? A jeden riadok v poďakovaniach repozitára ma rozosmial.

0:20 Dostanem sa k tomu na konci. Je streda, tridsiateho septembra, a toto je The Daily Diff. Dnes tri príbehy, a ten veľký je GitHub repozitár nazvaný live nerf.

livenerf: 30-dňové meranie Opus 5.5 od týždňa spustenia

0:30 Mesiace ľudia hovorili, že Anthropic potichu oslabuje svoje modely po spustení. Obvyklé teórie sú stlačený model, menší model pod rovnakým názvom alebo jednoducho menej myslenia. Repozitár nazýva každý doterajší argument pocitmi proti pocitom. Opus päť bodov päť bolo vydané dvadsiateho druhého septembra, a pred týždňom som vám povedal, že dominovalo nezávislej tabuľke, zatiaľ čo písalo tri krát viac slov ako mediánový model. O dva a pol dňa, vývojár menom ninja hawk spustil meranie,

0:59 raz denne po dobu tridsiatich dní, so záznamami, ktoré nikto nemôže upravovať. Vlákno na Hacker News dosiahlo takmer osemsto bodov a rozdelilo sa ako tímový chat. Jeden komentátor hovorí, že oslabovanie modelov nie je skutočné vo väčšine ohlásených prípadov. Iný hovorí, že ľudia si len zvykajú na novú úroveň inteligencie. A jeden skúsený používateľ Claude Code teraz zakaždým zatvára vyskakovacie okno „ohodnoť túto reláciu“, pretože hodnotenie Claudea, zdá sa, ho zhoršovalo. Recenzia kolegov. Takže, otázka jedna, ako odhalíte oslabenie?

Ako odhaliť oslabenie: 78 niekedy správnych otázok

1:27 Začnete s asi dvadsaťtritisíc ťažkými skúšobnými otázkami, a Opus dostane deväťdesiattri percent správne na prvý pokus, čo je pre detektor zbytočné, keďže otázka, ktorú vždy dostane správne, nemôže klesnúť. Deväťdesiatsedem percent bolo vždy správnych alebo vždy nesprávnych, a sedemdesiattri, ktoré niekedy dostane správne, sa stali panelom. Rovnaká výzva, žiadne nástroje a hodnotenie presnej zhody bez sudcu AI, pretože aj sudca by sa odchýlil. Beží na predplatnom Max prostredníctvom bezhlavého Claude Code,

1:55 pretože verzia API bola ocenená na asi tisícšesťsto dolárov mesačne. A verzia Claude Code je pripnutá, pretože, podľa slov repozitára, zmenené rozhranie vyzerá presne ako zmenený model. Štatistiky pochádzajú z článku nazvaného Pridávanie chybových pruhov k hodnoteniam, od Evana Millera z Anthropicu. Takže vlastná matematika Anthropicu teraz audituje Anthropic, čo je akademická verzia citovania podmienok služby zákazníckej podpore.

Čo môže vidieť: 7,5 bodu a počet tokenov sa hýbe ako prvý

2:19 Otázka dva, čo to dokáže vidieť? V desaťdňovom okne pokles o asi sedem a pol bodu. Na preukázanie funkčnosti zariadenia autor zámerne znížil snahu Claudea. Stredná snaha znížila výstup o asi štvrtinu a skóre len o štyri body. Nízka snaha znížila výstup o takmer dve tretiny, za osem bodov. To je tá časť, ktorú treba ukradnúť. Menej myslenia sa prejaví v počte tokenov skôr, ako sa prejaví v odpovediach.

2:43 Takže pripnite verziu svojho modelu, zaznamenávajte výstupné tokeny pre každú úlohu, a majte niekoľko vlastných zamrznutých otázok. Ak váš agent zrazu píše kratšie, skontrolujte svoje záznamy, skôr ako skontrolujete Reddit. A tu je tá úprimná časť.

Slepá škvrna: výmena Opus 5 a 8 nesprávnych kľúčov odpovedí

2:54 Tiché nahradenie starším Opussom päť bolo príliš malou zmenou na to, aby to zariadenie rozpoznalo, a readme to vopred uvádza. Audit tiež našiel osem kľúčov odpovedí, ktoré vyzerajú nesprávne, takže detektor oslabenia našiel chyby v benchmarku skôr, ako našiel oslabenie.

Anthropic: nikdy neznižujeme kvalitu modelu

3:08 Otázka tri, čo hovorí Anthropic? Minulý rok, po vlne sťažností, Anthropic zverejnil analýzu po udalosti. Hovorí, citujem, nikdy neznižujeme kvalitu modelu kvôli dopytu, času dňa alebo zaťaženiu servera. Ten istý príspevok priznáva, že tri chyby zhoršili Claudea, a takmer tretina používateľov Claude Code narazila na nesprávne servery aspoň raz. Takže sťažnosti boli reálne a príčinou boli chyby, preto repozitár varuje, že týždeň spustenia by mohol byť najhorší týždeň.

3:35 Šesť z tridsiatich dní je za nami. Prvý možný výsledok sa objaví okolo dvadsiateho štvrtého októbra, takže úprimná odpoveď je, že nikto nevie, vrátane všetkých, ktorí si boli istí. Keď už hovoríme o číslach, ktoré nikto nezverejňuje.

Dátové centrá držia svoje čísla v tajnosti; Backblaze ich zverejňuje

3:46 Lighthouse Reports a holandské noviny Trouw zistili, že drvivá väčšina európskych dátových centier drží svoje údaje o spotrebe energie a vody v tajnosti, hoci pravidlo EÚ vyžaduje hlásenie už tri roky. V Holandsku zverejňuje menej ako štvrtina. Jedno dátové centrum Microsoftu samo spotrebuje asi jedno percento holandskej elektriny. Medzitým Backblaze opäť urobil tú nudnú vec. Jeho štvrťročné štatistiky diskov pokrývajú asi tristo päťdesiattisíc pevných diskov, a miera poruchovosti vzrástla na jeden bod sedemdesiat tri percenta,

4:16 najvyššia za poslednú dobu. Tri modely Seagate mali nulové poruchy. Takto vyzerá verejná základná línia, štvrťrok po štvrťroku, po trinásť rokov.

Riadok s poďakovaním: Claude pomohol vytvoriť merač

4:25 Teraz ten riadok s poďakovaním. Readme priznáva, že veľká časť repozitára bola napísaná s pomocou Claudea, čo je model, ktorý sa meria. Takže Claude pomohol zostrojiť merač, ktorý kontroluje, či sa Claude stal hlúpejším. Preto sú hodnotitelia jednoduché funkcie. Podľa slov autora, nemali by ste musieť dôverovať autorovi, ľudskému alebo inému. Ak si to radšej prečítate, ako by ste ma mali počuť, rozdiel vám pristane v schránke

4:46 každé ráno, zadarmo na daily diff dot dev, odkaz nižšie. Takže, dnešný verdikt o live nerf.

Verdikt: SHIP IT a necitujte ho pred 24. októbrom

4:51 SHIP IT. Poslal by som ho, pretože je to prvý argument o oslabení, ktorý som videl s časovou pečiatkou, verejnými pravidlami a uvedenou slepou škvrnou. Len ho necitujte pred dvadsiatym štvrtým októbrom. A to je pre dnešok všetko. Som Niko z Axrisi. Zlučujte zodpovedne.

Zdroje

  1. livenerfgithub.com
  2. Validationgithub.com
  3. Hacker Newsnews.ycombinator.com
  4. Anthropic postmortem (Sep 2025)www.anthropic.com
  5. Adding Error Bars to Evals (Evan Miller)arxiv.org
  6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
  7. NL Timesnltimes.nl
  8. Hacker Newsnews.ycombinator.com
  9. Backblaze Drive Stats Q2 2026www.backblaze.com
  10. Hacker Newsnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Súvisiace videá