Ako odhaliť oslabenie Claude (so skutočnými dátami)

Čo toto video pokrýva

• Claude je po spustení hlúpejší: teória sa stretáva s meraním od nultého dňa
• livenerf: 30-dňové meranie Opus 5.5 od týždňa spustenia
• Ako odhaliť oslabenie: 78 niekedy správnych otázok
• Čo môže vidieť: 7,5 bodu a počet tokenov sa hýbe ako prvý
• Slepá škvrna: výmena Opus 5 a 8 nesprávnych kľúčov odpovedí

Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

Claude je po spustení hlúpejší: teória sa stretáva s meraním od nultého dňa

0:00 Každý vie, že Claude sa stáva hlúpejším niekoľko týždňov po spustení. Takže jeden vývojár spustil Opus päť bodov päť na meranie od týždňa spustenia, a meranie hovorí, že to nikto nemohol zatiaľ vedieť. V tomto videu sú tri otázky. Ako odhalíte oslabenie? Čo tento merač dokáže vidieť? A čo hovorí Anthropic? A jeden riadok v poďakovaniach repozitára ma rozosmial.

0:20 Dostanem sa k tomu na konci. Je streda, tridsiateho septembra, a toto je The Daily Diff. Dnes tri príbehy, a ten veľký je GitHub repozitár nazvaný live nerf.

livenerf: 30-dňové meranie Opus 5.5 od týždňa spustenia

0:30 Mesiace ľudia hovorili, že Anthropic potichu oslabuje svoje modely po spustení. Obvyklé teórie sú stlačený model, menší model pod rovnakým názvom alebo jednoducho menej myslenia. Repozitár nazýva každý doterajší argument pocitmi proti pocitom. Opus päť bodov päť bolo vydané dvadsiateho druhého septembra, a pred týždňom som vám povedal, že dominovalo nezávislej tabuľke, zatiaľ čo písalo tri krát viac slov ako mediánový model. O dva a pol dňa, vývojár menom ninja hawk spustil meranie,

0:59 raz denne po dobu tridsiatich dní, so záznamami, ktoré nikto nemôže upravovať. Vlákno na Hacker News dosiahlo takmer osemsto bodov a rozdelilo sa ako tímový chat. Jeden komentátor hovorí, že oslabovanie modelov nie je skutočné vo väčšine ohlásených prípadov. Iný hovorí, že ľudia si len zvykajú na novú úroveň inteligencie. A jeden skúsený používateľ Claude Code teraz zakaždým zatvára vyskakovacie okno „ohodnoť túto reláciu“, pretože hodnotenie Claudea, zdá sa, ho zhoršovalo. Recenzia kolegov. Takže, otázka jedna, ako odhalíte oslabenie?

Ako odhaliť oslabenie: 78 niekedy správnych otázok

1:27 Začnete s asi dvadsaťtritisíc ťažkými skúšobnými otázkami, a Opus dostane deväťdesiattri percent správne na prvý pokus, čo je pre detektor zbytočné, keďže otázka, ktorú vždy dostane správne, nemôže klesnúť. Deväťdesiatsedem percent bolo vždy správnych alebo vždy nesprávnych, a sedemdesiattri, ktoré niekedy dostane správne, sa stali panelom. Rovnaká výzva, žiadne nástroje a hodnotenie presnej zhody bez sudcu AI, pretože aj sudca by sa odchýlil. Beží na predplatnom Max prostredníctvom bezhlavého Claude Code,

1:55 pretože verzia API bola ocenená na asi tisícšesťsto dolárov mesačne. A verzia Claude Code je pripnutá, pretože, podľa slov repozitára, zmenené rozhranie vyzerá presne ako zmenený model. Štatistiky pochádzajú z článku nazvaného Pridávanie chybových pruhov k hodnoteniam, od Evana Millera z Anthropicu. Takže vlastná matematika Anthropicu teraz audituje Anthropic, čo je akademická verzia citovania podmienok služby zákazníckej podpore.

Čo môže vidieť: 7,5 bodu a počet tokenov sa hýbe ako prvý

2:19 Otázka dva, čo to dokáže vidieť? V desaťdňovom okne pokles o asi sedem a pol bodu. Na preukázanie funkčnosti zariadenia autor zámerne znížil snahu Claudea. Stredná snaha znížila výstup o asi štvrtinu a skóre len o štyri body. Nízka snaha znížila výstup o takmer dve tretiny, za osem bodov. To je tá časť, ktorú treba ukradnúť. Menej myslenia sa prejaví v počte tokenov skôr, ako sa prejaví v odpovediach.

2:43 Takže pripnite verziu svojho modelu, zaznamenávajte výstupné tokeny pre každú úlohu, a majte niekoľko vlastných zamrznutých otázok. Ak váš agent zrazu píše kratšie, skontrolujte svoje záznamy, skôr ako skontrolujete Reddit. A tu je tá úprimná časť.

Slepá škvrna: výmena Opus 5 a 8 nesprávnych kľúčov odpovedí

2:54 Tiché nahradenie starším Opussom päť bolo príliš malou zmenou na to, aby to zariadenie rozpoznalo, a readme to vopred uvádza. Audit tiež našiel osem kľúčov odpovedí, ktoré vyzerajú nesprávne, takže detektor oslabenia našiel chyby v benchmarku skôr, ako našiel oslabenie.

Anthropic: nikdy neznižujeme kvalitu modelu

3:08 Otázka tri, čo hovorí Anthropic? Minulý rok, po vlne sťažností, Anthropic zverejnil analýzu po udalosti. Hovorí, citujem, nikdy neznižujeme kvalitu modelu kvôli dopytu, času dňa alebo zaťaženiu servera. Ten istý príspevok priznáva, že tri chyby zhoršili Claudea, a takmer tretina používateľov Claude Code narazila na nesprávne servery aspoň raz. Takže sťažnosti boli reálne a príčinou boli chyby, preto repozitár varuje, že týždeň spustenia by mohol byť najhorší týždeň.

3:35 Šesť z tridsiatich dní je za nami. Prvý možný výsledok sa objaví okolo dvadsiateho štvrtého októbra, takže úprimná odpoveď je, že nikto nevie, vrátane všetkých, ktorí si boli istí. Keď už hovoríme o číslach, ktoré nikto nezverejňuje.

Dátové centrá držia svoje čísla v tajnosti; Backblaze ich zverejňuje

3:46 Lighthouse Reports a holandské noviny Trouw zistili, že drvivá väčšina európskych dátových centier drží svoje údaje o spotrebe energie a vody v tajnosti, hoci pravidlo EÚ vyžaduje hlásenie už tri roky. V Holandsku zverejňuje menej ako štvrtina. Jedno dátové centrum Microsoftu samo spotrebuje asi jedno percento holandskej elektriny. Medzitým Backblaze opäť urobil tú nudnú vec. Jeho štvrťročné štatistiky diskov pokrývajú asi tristo päťdesiattisíc pevných diskov, a miera poruchovosti vzrástla na jeden bod sedemdesiat tri percenta,

4:16 najvyššia za poslednú dobu. Tri modely Seagate mali nulové poruchy. Takto vyzerá verejná základná línia, štvrťrok po štvrťroku, po trinásť rokov.

Riadok s poďakovaním: Claude pomohol vytvoriť merač

4:25 Teraz ten riadok s poďakovaním. Readme priznáva, že veľká časť repozitára bola napísaná s pomocou Claudea, čo je model, ktorý sa meria. Takže Claude pomohol zostrojiť merač, ktorý kontroluje, či sa Claude stal hlúpejším. Preto sú hodnotitelia jednoduché funkcie. Podľa slov autora, nemali by ste musieť dôverovať autorovi, ľudskému alebo inému. Ak si to radšej prečítate, ako by ste ma mali počuť, rozdiel vám pristane v schránke

4:46 každé ráno, zadarmo na daily diff dot dev, odkaz nižšie. Takže, dnešný verdikt o live nerf.

Verdikt: SHIP IT a necitujte ho pred 24. októbrom

4:51 SHIP IT. Poslal by som ho, pretože je to prvý argument o oslabení, ktorý som videl s časovou pečiatkou, verejnými pravidlami a uvedenou slepou škvrnou. Len ho necitujte pred dvadsiatym štvrtým októbrom. A to je pre dnešok všetko. Som Niko z Axrisi. Zlučujte zodpovedne.

Zdroje

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com