+− THE DAILY DIFFdev & AI news
SHIP IT

Hogyan lehet észlelni egy Claude nerfet (valós adatokkal)

Az emberek azt mondják, Claude minden indítás után néhány héttel butább lesz.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Az emberek azt mondják, Claude minden indítás után néhány héttel butább lesz. Egy fejlesztő 30 napra állította be a Claude Opus 5.5-öt az indítás hetétől számítva, rögzített kérdésekkel, rögzített Claude kóddal és nyilvános szabályokkal, és ez megmutatja, miért nem tudhatta senki korábban, és miért a token számlálóra kell figyelni. Ítélet: SHIP IT.

Olvassa el az írott kiadást (angolul) ↗

Amit ez a videó tartalmaz

  • Claude butább lesz az indítás után: az elmélet találkozik a nulla-napi órával
  • élő nerf: egy 30 napos óra az Opus 5.5-ön az indítás hetétől
  • Hogyan kapjunk el egy nerfet: 78 néha-jó kérdés
  • Mit láthat: 7,5 pont, és a token számláló mozog először
  • A vakfolt: egy Opus 5 csere és 8 rossz válaszkulcs

Kérdések és válaszok

Hogyan tesztelheti, hogy egy AI-modellt csendben lerontottak-e a bevezetés után?

Futtassa ugyanazokat a rögzített kérdéseket egy meghatározott ütemezés szerint, és értékelje őket pontos egyezéssel. A livenerf repo 30 napos órát futtat a Claude Opus 5.5-ön, naponta egyszer, naplókkal, amelyeket senki sem szerkeszthet. 78 olyan kérdést használ, amelyet a modell csak néha válaszol meg helyesen, mert egy kérdés, amire mindig helyesen válaszol, nem csökkenhet. Rögzíti a Claude Code verzióját, mivel egy megváltozott hám megváltozott modellnek tűnik.

Nézze meg ezt a részt 1:24 · github.com · github.com

Mekkora esést érzékel a livenerf mérő?

Tíz napos ablakonként a mérő körülbelül 7,5 pontos esést képes érzékelni. A rendszer működésének bizonyítására a szerző szándékosan lecsökkentette Claude erőfeszítését. Az alacsony erőfeszítés majdnem kétharmadával csökkentette a kimenetet és nyolc ponttal a pontszámot. A régebbi Opus 5 csendes behelyezése túl kicsi változás volt ahhoz, hogy a rendszer észrevegye, és a readme ezt előre jelzi.

Nézze meg ezt a részt 2:19 · github.com · github.com

Mit kell nyomon követniük a fejlesztőknek, hogy észrevegyék, ha egy AI-ügynök kevesebbet gondolkodik?

Kimeneti tokenek száma feladatonként. A livenerf tesztekben a kevesebb gondolkodás a tokenek számában jelentkezett, mielőtt a válaszokban megjelent volna. Az epizód azt sugallja, hogy rögzítse a modell verzióját, naplózza a feladatonkénti kimeneti tokeneket, és tartson néhány saját rögzített kérdést. Ha az ügynöke hirtelen rövidebben ír, először ellenőrizze a naplóit.

Nézze meg ezt a részt 2:19 · github.com · news.ycombinator.com

Az Anthropic állítása szerint csökkenti Claude minőségét, ha nagy a kereslet?

Az Anthropic szerint nem. 2025. szeptemberi utólagos elemzésük szerint soha nem csökkentik a modell minőségét a kereslet, a napszak vagy a szerver terhelése miatt. Ugyanez a bejegyzés elismeri, hogy három hiba rontotta Claude-ot, és hogy a Claude Code felhasználók majdnem egyharmada legalább egyszer rossz szervereket talált el.

Nézze meg ezt a részt 3:08 · www.anthropic.com

Megbízhatóak-e a livenerf eredményei, hogy még most is Claude nerfet mutassanak?

A Daily Diff ítélete SHIP IT volt a projektre, mert ez az első nerf érv, amely időbélyeggel, nyilvános szabálykönyvvel és megállapított vakfolttal rendelkezik. Az epizód azt mondja, hogy október 24. előtt ne idézzék, mert a harminc napból csak hat telt el, és az első lehetséges hívás akkor érkezik. Az audit 8 rossznak tűnő válaszkulcsot is talált.

Nézze meg ezt a részt 4:50 · github.com · github.com · news.ycombinator.com

Lefordított átirat

Az eredeti angol narrációból fordítva. A rendelkezésre álló hangot és feliratokat a YouTube vezérli.

Claude butább lesz az indítás után: az elmélet találkozik a nulla-napi órával

0:00 Mindenki tudja, hogy Claude butább lesz néhány héttel az indítás után. Így egy fejlesztő harminc napra állította az Opus ötpontötös órát az indítás hetétől, és az óra szerint senki sem tudhatta még. Ebben a videóban három kérdés. Hogyan kapunk el egy nerfet? Mit láthat ez a mérő? És mit mond az Anthropic? És egy sor a repo kreditjeiben hangosan felnevettetett.

0:20 A végén rátérek. Szeptember harmincada szerda van, és ez a The Daily Diff. Három történet ma, és a nagy egy egy GitHub repo, neve élő nerf.

élő nerf: egy 30 napos óra az Opus 5.5-ön az indítás hetétől

0:30 Hónapok óta mondják az emberek, hogy az Anthropic csendben butítja a modelljeit az indítás után. A szokásos elméletek szerint egy összenyomott modell, egy kisebb modell ugyanazon név alatt vagy egyszerűen kevesebb gondolkodás. A repo eddig minden érvet hangulat kontra hangulatként ír le. Az Opus ötpontötös szeptember huszonkettedikén jelent meg, és egy hete elmondtam, hogy vezette a független táblázatot, miközben háromszor annyi szót írt, mint a medián modell. Két és fél nappal később egy ninja hawk nevű fejlesztő elindította az órát,

0:59 naponta egyszer harminc napig, olyan naplókkal, amelyeket senki sem szerkeszthet. A Hacker News szál közel nyolcszáz pontot ért el, és szétvált, mint egy csoportos chat. Egy kommentelő szerint a modellek butítása nem valós a bejelentett esetek túlnyomó többségében. Egy másik szerint az emberek csak hozzászoknak az új intelligencia szinthez. És egy Claude Code haladó felhasználó mostantól minden alkalommal elutasítja az „értékeld ezt a munkamenetet” előugró ablakot, mert Claude értékelése rontani látszott a teljesítményét. Szakértői felülvizsgálat. Szóval, első kérdés, hogyan kapunk el egy nerfet?

Hogyan kapjunk el egy nerfet: 78 néha-jó kérdés

1:27 Körülbelül huszonháromszáz nehéz vizsgakérdéssel kezdjük, és az Opus kilencvenhárom százalékot old meg helyesen első próbálkozásra, ami haszontalan egy detektor számára, mivel egy kérdés, amit mindig helyesen old meg, nem csökkenhet. Kilencvenhét százalék mindig helyes vagy mindig helytelen volt, és a hetvennyolc, amit csak néha old meg helyesen, lett a panel. Ugyanaz a prompt, nincs eszköz, és pontosan egyező értékelés AI bíró nélkül, mert a bíró is eltévedne. Max előfizetéssel fut headless Claude Code-on keresztül,

1:55 mivel az API verzió ára havonta körülbelül ezerhatszáz dollár volt. És a Claude Code verzió rögzített, mert a repo szavaival élve, egy megváltozott keret pontosan úgy néz ki, mint egy megváltozott modell. A statisztikák egy „Adding Error Bars to Evals” című tanulmányból származnak, Evan Miller tollából az Anthropic-nál. Tehát az Anthropic saját matematikája most az Anthropicot auditálja, ami az akadémiai verziója annak, hogy az ügyfélszolgálatnak idézzük vissza a szolgáltatási feltételeket.

Mit láthat: 7,5 pont, és a token számláló mozog először

2:19 Második kérdés, mit láthat? Tíz napos ablakonként körülbelül hét és fél pontos csökkenés. Hogy bizonyítsa a berendezés működését, a szerző szándékosan lecsökkentette Claude erőfeszítését. A közepes erőfeszítés körülbelül negyedével csökkentette a kimenetet, és csak négy ponttal a pontszámot. Az alacsony erőfeszítés majdnem kétharmadával csökkentette a kimenetet, nyolc pontért. Ezt kell ellopni. A kevesebb gondolkodás előbb megjelenik a token számlálóban, mint a válaszokban.

2:43 Tehát rögzítse a modell verzióját, naplózza a kimeneti tokeneket feladatonként, és tartson néhány saját, rögzített kérdést. Ha az ügynöke hirtelen rövidebben ír, ellenőrizze a naplóit, mielőtt a Redditre néz. És itt jön az őszinte rész.

A vakfolt: egy Opus 5 csere és 8 rossz válaszkulcs

2:54 Az idősebb Opus öt csendes cseréje túl kicsi változás volt ahhoz, hogy a berendezés jelezze, és a readme ezt előre is mondja. Az audit nyolc hibásnak tűnő válaszkulcsot is talált, tehát a nerf detektor hibákat talált a benchmarkban, mielőtt nerfet talált volna.

Anthropic: soha nem csökkentjük a modell minőségét

3:08 Harmadik kérdés, mit mond az Anthropic? Tavaly, egy panaszáradat után, az Anthropic közzétett egy utólagos elemzést. Azt mondja, idézem: soha nem csökkentjük a modell minőségét a kereslet, a napszak vagy a szerverterhelés miatt. Ugyanez a poszt elismeri, hogy három hiba rontotta Claude-ot, és a Claude Code felhasználók majdnem egyharmada legalább egyszer rossz szervereket talált el. Tehát a panaszok valósak voltak, és az ok hibák voltak, ezért figyelmeztet a repo, hogy az indítás hete lehet a legrosszabb hét.

3:35 Harminc napból hat már eltelt. Az első lehetséges jelzés október huszonnegyedike körül várható, tehát az őszinte válasz az, hogy senki sem tudja, beleértve azokat is, akik biztosak voltak. Apropó, számok, amiket senki sem publikál.

Az adatközpontok titokban tartják a számaikat; a Backblaze közzéteszi

3:46 A Lighthouse Reports és a holland Trouw újság megállapította, hogy az európai adatközpontok túlnyomó többsége titokban tartja áram- és vízfogyasztását, bár egy uniós szabály három éve előírja a jelentéstételt. Hollandiában kevesebb mint negyedük publikál. Egyetlen Microsoft adatközpont egyedül a holland villamos energia körülbelül egy százalékát használja fel. Eközben a Backblaze ismét megtette az unalmas dolgot. Negyedéves meghajtó statisztikái körülbelül háromszázötven ezer merevlemezt fednek le, és a meghibásodási arány egy pont hetvenhárom százalékra nőtt,

4:16 ami egy ideje a legmagasabb. Három Seagate modellben nulla meghibásodás volt. Így néz ki egy nyilvános alapvonal, negyedévről negyedévre, tizenhárom éven át.

A kreditsor: Claude segített felépíteni a mérőt

4:25 Most az a kreditsor. A readme elismeri, hogy a repo nagy részét Claude segítségével írták, ami a mért modell. Tehát Claude segített felépíteni a mérőt, amely ellenőrzi, hogy Claude butább lett-e. Ezért vannak az osztályozók egyszerű függvények. A szerző szavaival élve, nem kellene bíznod a szerzőben, emberben vagy másban. Ha inkább elolvasnád ezt, mint hallanád, minden reggel megkapod a diffet az e-mail fiókodba,

4:46 ingyen a the daily diff.dev címen, link lent. Tehát, a mai ítélet az élő nerfről.

Ítélet: SHIP IT, és ne idézd október 24 előtt

4:51 SHIP IT. Én SHIP IT-nek nyilvánítanám, mert ez az első nerf érv, amit láttam, időbélyeggel, nyilvános szabálykönyvvel és megállapított vakfolttal. Csak ne idézd október huszonnegyedik előtt. És ez a mai diff. Niko vagyok az Axrisi-től. Felelősségteljesen egyesíts.

Források

  1. livenerfgithub.com
  2. Validationgithub.com
  3. Hacker Newsnews.ycombinator.com
  4. Anthropic postmortem (Sep 2025)www.anthropic.com
  5. Adding Error Bars to Evals (Evan Miller)arxiv.org
  6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
  7. NL Timesnltimes.nl
  8. Hacker Newsnews.ycombinator.com
  9. Backblaze Drive Stats Q2 2026www.backblaze.com
  10. Hacker Newsnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Kapcsolódó videók