# Hvernig á að greina Claude veikleika (með raunverulegum gögnum) Published: 2026-09-30 Fólk segir að Claude verði heimskari nokkrum vikum eftir hverja kynningu. Einn forritari setti Claude Opus 5.5 á 30 daga klukku frá kynningarviku, með frosnum spurningum, föstum Claude Code og opinberum reglum, og það sýnir hvers vegna enginn hefði getað vitað áður, og hvers vegna auðkennafjöldi þinn er það sem þarf að fylgjast með. Dómur: SHIP IT. Canonical: https://thedailydiff.dev/is/video/2026-09-30-opus-nerf-meter/ ## Það sem þetta myndband fjallar um - Claude verður heimskari eftir kynningu: kenningin mætir núll dags klukku - livenerf: 30 daga klukka á Opus 5.5 frá kynningarviku - Hvernig á að ná veikleika: 78 stundum réttar spurningar - Hvað það getur séð: 7,5 stig, og auðkennafjöldinn færist fyrst - Blindi bletturinn: Opus 5 skipti og 8 rangir svarlyklar ## Kaflar - 0:00 Claude verður heimskari eftir kynningu: kenningin mætir núll dags klukku - 0:26 livenerf: 30 daga klukka á Opus 5.5 frá kynningarviku - 1:24 Hvernig á að ná veikleika: 78 stundum réttar spurningar - 2:19 Hvað það getur séð: 7,5 stig, og auðkennafjöldinn færist fyrst - 2:53 Blindi bletturinn: Opus 5 skipti og 8 rangir svarlyklar - 3:08 Anthropic: við drögum aldrei úr gæðum líkana - 3:45 Gagnamiðstöðvar halda tölum sínum leyndum; Backblaze birtir - 4:25 Viðurkenningarlínan: Claude hjálpaði til við að smíða mælirinn - 4:50 Dómur: SHIP IT, og ekki vitna í það fyrir 24. október ## Þýtt afrit Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube. ### Claude verður heimskari eftir kynningu: kenningin mætir núll dags klukku 0:00 Allir vita að Claude verður heimskari nokkrum vikum eftir kynningu. Svo einn forritari setti Opus fimm punkt fimm á klukku frá kynningarviku, og klukkan segir að enginn hefði getað vitað enn. Í þessu myndbandi, þrjár spurningar. Hvernig veiðir þú veikleika? Hvað getur þessi mælir séð? Og hvað segir Anthropic? Og ein lína í heiðursskrá geymslunnar fékk mig til að hlæja upphátt. 0:20 Ég kem að því í lokin. Það er miðvikudagur, þrítugasti september, og þetta er The Daily Diff. Þrjár sögur í dag, og sú stóra er GitHub geymsla sem heitir live nerf. ### livenerf: 30 daga klukka á Opus 5.5 frá kynningarviku 0:30 Í marga mánuði hefur fólk sagt að Anthropic dregur í kyrrþey úr afköstum líkana sinna eftir kynningu. Venjulegar kenningar eru þjappað líkan, minna líkan undir sama nafni eða einfaldlega minni hugsun. Geymslan kallar öll rök hingað til stemningar á móti stemningum. Opus fimm punkt fimm var gefið út 22. september, og fyrir viku síðan sagði ég ykkur að það toppaði sjálfstæða listann á sama tíma og það skrifaði þrisvar sinnum fleiri orð en miðgildi líkansins. Tveimur og hálfum degi síðar, byrjaði forritari sem heitir ninja hawk klukkuna, 0:59 einu sinni á dag í þrjátíu daga, með skrár sem enginn má breyta. Þráðurinn á Hacker News náði næstum átta hundruð punktum og klofnaði eins og teymi spjall. Einn athugasemdarmaður segir að veiking líkana sé ekki raunveruleg í langflestum tilkynntum tilfellum. Annar segir að fólk sé bara að venjast nýju stigi greindar. Og einn háþróaður notandi Claude Code vísar nú á bug sprettiglugganum „gefðu þessari lotu einkunn“ í hvert skipti, vegna þess að það að gefa Claude einkunn virtist gera það verra. Jafningjaskoðun. Svo, spurning eitt, hvernig veiðir þú veikleika? ### Hvernig á að ná veikleika: 78 stundum réttar spurningar 1:27 Þú byrjar með um tuttugu og þrjú hundruð erfið prófspurningar, og Opus fær níutíu og þrjú prósent rétt í fyrstu tilraun, sem er gagnslaust fyrir skynjara, þar sem spurning sem það fær alltaf rétt getur ekki fallið. Níutíu og sjö prósent voru alltaf rétt eða alltaf röng, og þau sjötíu og átta sem það fær aðeins stundum rétt urðu spjaldið. Sama fyrirspurn, engin verkfæri, og nákvæm samsvörunareinkunn án gervigreindardómara, vegna þess að dómarinn myndi líka reika. Það keyrir á Max áskrift í gegnum höfuðlausa Claude Code, 1:55 þar sem API útgáfan var verðlögð á um sextán hundruð dollara á mánuði. Og Claude Code útgáfan er fest, vegna þess, í orðum geymslunnar, breytt beisli lítur nákvæmlega út eins og breytt líkan. Tölfræðin kemur úr grein sem heitir „Bæta við villustikum við mat“, eftir Evan Miller hjá Anthropic. Svo eigin stærðfræði Anthropic er nú að endurskoða Anthropic, sem er akademíska útgáfan af því að vitna í þjónustuskilmálana aftur til þjónustuversins. ### Hvað það getur séð: 7,5 stig, og auðkennafjöldinn færist fyrst 2:19 Spurning tvö, hvað getur það séð? Á hverjum tíu daga glugga, fall upp á um sjö og hálfan punkt. Til að sanna að búnaðurinn virkar, dró höfundur viljandi úr áreynslu Claude. Meðal áreynsla dró úr úttaki um fjórðung, og stiginu um aðeins fjóra punkta. Lítil áreynsla dró úr úttaki um næstum tvo þriðju, fyrir átta punkta. Þetta er hlutinn til að stela. Minni hugsun birtist í auðkennafjöldanum áður en hún birtist í svörunum. 2:43 Svo festu líkanútgáfuna þína, skráðu úttaksauðkenni á verkefni, og haltu nokkrum frosnum spurningum þínum. Ef umboðsmaðurinn þinn skrifar skyndilega styttra, athugaðu skrárnar þínar áður en þú athugar Reddit. Og hér er heiðarlegi hlutinn. ### Blindi bletturinn: Opus 5 skipti og 8 rangir svarlyklar 2:54 Að skipta hljóðlega yfir í eldri Opus fimm var of lítil breyting fyrir búnaðinn til að kalla á, og readme segir það beint. Endurskoðunin fann einnig átta svarlykla sem virðast rangir, svo veikleika skynjarinn fann villur í viðmiðunarprófinu áður en hann fann veikleika. ### Anthropic: við drögum aldrei úr gæðum líkana 3:08 Spurning þrjú, hvað segir Anthropic? Í fyrra, eftir kvartanabylgju, birti Anthropic eftirgönguskýrslu. Þar segir, vitnað, við drögum aldrei úr gæðum líkana vegna eftirspurnar, tíma dags eða álags á netþjónum. Sama færslan viðurkennir að þrjár villur hefðu dregið úr Claude, og næstum þriðjungur notenda Claude Code lenti á röngum netþjónum að minnsta kosti einu sinni. Svo kvartanirnar voru raunverulegar og orsökin voru villur, sem er ástæðan fyrir því að geymslan varar við því að kynningarvikan gæti verið versta vikan. 3:35 Sex af þrjátíu dögum eru liðnir. Fyrsta mögulega útkallið er um 24. október, svo heiðarlegt svar er að enginn veit, þar á meðal allir sem voru vissir. Talandi um tölur sem enginn birtir. ### Gagnamiðstöðvar halda tölum sínum leyndum; Backblaze birtir 3:46 Lighthouse Reports og hollenska blaðið Trouw komust að því að langflestar evrópskar gagnaver halda orku- og vatnsnotkun sinni leyndri, þó að ESB-regla hafi krafist skýrslugerðar í þrjú ár. Í Hollandi, færri en fjórðungur birtir. Eitt Microsoft gagnaver eitt og sér notar um eitt prósent af hollenskri raforku. Á meðan gerði Backblaze leiðinlega hlutinn aftur. Fjórðungslegar diskastölur þess ná yfir um þrjú hundruð og fimmtíu þúsund harðdiska, og bilunartíðnin hækkaði í einn punkt sjö þrjú prósent, 4:16 það hæsta í langan tíma. Þrjú Seagate módel höfðu engar bilanir. Þetta er hvernig opinber grunnlína lítur út, fjórðung eftir fjórðung, í þrettán ár. ### Viðurkenningarlínan: Claude hjálpaði til við að smíða mælirinn 4:25 Nú, sú viðurkenningarlína. Readme viðurkennir að mikið af geymslunni var skrifað með hjálp Claude, sem er líkanið sem verið er að mæla. Svo Claude hjálpaði til við að smíða mælirinn sem athugar hvort Claude hafi orðið heimskari. Þess vegna eru einkunnagjafarnir einfaldar aðgerðir. Í orðum höfundar, þú ættir ekki að þurfa að treysta höfundi, mannlegum eða öðrum. Ef þú vilt frekar lesa þetta en heyra mig segja það, þá lendir munurinn í pósthólfinu þínu 4:46 á hverjum morgni, ókeypis á the daily diff punkt dev, hlekkur hér að neðan. Svo, dómur dagsins um live nerf. ### Dómur: SHIP IT, og ekki vitna í það fyrir 24. október 4:51 SHIP IT. Ég myndi senda það því það er fyrsta veikleika-rökin sem ég hef séð með tímastimpill, opinberri reglubók og yfirlýstum blindum bletti. Ekki vitna í það fyrir 24. október. Og það er munurinn fyrir í dag. Ég er Niko frá Axrisi. Sameinaðu á ábyrgan hátt. ## Heimildir - [livenerf](https://github.com/ninjahawk/livenerf) — github.com - [Validation](https://github.com/ninjahawk/livenerf/blob/main/docs/VALIDATION.md) — github.com - [Hacker News](https://news.ycombinator.com/item?id=49901736) — news.ycombinator.com - [Anthropic postmortem (Sep 2025)](https://www.anthropic.com/engineering/a-postmortem-of-three-recent-issues) — www.anthropic.com - [Adding Error Bars to Evals (Evan Miller)](https://arxiv.org/abs/2411.00640) — arxiv.org - [Inspect (UK AI Security Institute)](https://inspect.aisi.org.uk/) — inspect.aisi.org.uk - [NL Times](https://nltimes.nl/2026/09/30/data-centers-refusing-say-much-water-electricity-use) — nltimes.nl - [Hacker News](https://news.ycombinator.com/item?id=49907057) — news.ycombinator.com - [Backblaze Drive Stats Q2 2026](https://www.backblaze.com/blog/backblaze-drive-stats-for-q2-2026/) — www.backblaze.com - [Hacker News](https://news.ycombinator.com/item?id=49893002) — news.ycombinator.com