Jinsi ya kugundua Claude nerf (kwa data halisi)

Nini video hii inashughulikia

• Claude anapungua akili baada ya uzinduzi: nadharia inakutana na saa ya siku sifuri
• livenerf: saa ya siku 30 kwenye Opus 5.5 kutoka wiki ya uzinduzi
• Jinsi ya kukamata nerf: Maswali 78 ambayo wakati mwingine ni sahihi
• Inaweza kuona nini: pointi 7.5, na idadi ya token inasonga kwanza
• Sehemu ya upofu: kubadilisha Opus 5 na funguo 8 za majibu zisizo sahihi

Nakala iliyotafsiriwa

Imetafsiriwa kutoka simulizi asili ya Kiingereza. Sauti na manukuu yanayopatikana yanadhibitiwa na YouTube.

Claude anapungua akili baada ya uzinduzi: nadharia inakutana na saa ya siku sifuri

0:00 Kila mtu anajua Claude hupungua akili wiki chache baada ya uzinduzi. Kwa hivyo msanidi programu mmoja aliweka Opus tano nukta tano kwenye saa tangu wiki ya uzinduzi, na saa inasema hakuna mtu angeweza kujua bado. Katika video hii, maswali matatu. Unakamatana vipi na nerf? Mita hii inaweza kuona nini? Na Anthropic inasema nini? Na mstari mmoja katika mikopo ya repo ulinifanya nicheke kwa sauti kubwa.

0:20 Nitaifikia mwishoni. Ni Jumatano, Septemba thelathini, na hii ni The Daily Diff. Hadithi tatu leo, na kubwa ni repo ya GitHub inayoitwa live nerf.

livenerf: saa ya siku 30 kwenye Opus 5.5 kutoka wiki ya uzinduzi

0:30 Kwa miezi kadhaa, watu wamesema Anthropic inaficha siri mifumo yake baada ya uzinduzi. Nadharia za kawaida ni mfumo ulioshinikizwa, mfumo mdogo chini ya jina moja au mawazo machache tu. Repo inaita kila hoja hadi sasa hisia dhidi ya hisia. Opus tano nukta tano ilitumwa mnamo Septemba ishirini na mbili, na wiki moja iliyopita nilikwambia iliongoza bodi huru wakati ikiandika mara tatu zaidi ya maneno kuliko mfumo wa wastani. Siku mbili na nusu zimepita, msanidi programu aliyeitwa ninja hawk alianza saa,

0:59 mara moja kwa siku kwa siku thelathini, na kumbukumbu ambazo hakuna mtu anayeweza kuhariri. Thread ya Hacker News ilifikia karibu pointi mia nane na kugawanyika kama gumzo la timu chat. Mtoa maoni mmoja anasema kupunguza mifumo si halisi katika idadi kubwa ya kesi zilizoripotiwa. Mwingine anasema watu wanazoea tu kiwango kipya cha akili. Na mtumiaji mmoja mwenye nguvu wa Claude Code sasa anafuta kisanduku cha 'rate-this-session' kila wakati, kwa sababu kukadiria Claude kulionekana kumfanya awe mbaya zaidi. Ukaguzi wa wenzao. Kwa hivyo, swali la kwanza, unakamatana vipi na nerf?

Jinsi ya kukamata nerf: Maswali 78 ambayo wakati mwingine ni sahihi

1:27 Unaanza na karibu maswali elfu mbili mia tatu ya mtihani mgumu, na Opus anapata asilimia tisini na tatu sahihi kwa jaribio la kwanza, ambayo haina maana kwa kichunguzi, kwa kuwa swali analolijibu sahihi kila wakati haliwezi kushuka. Asilimia tisini na saba yalikuwa sahihi kila wakati au mabaya kila wakati, na sabini na nane aliyoyajibu sahihi wakati mwingine tu yaliunda jopo. Prompt sawa, hakuna zana, na ukaguzi wa mechi kamili bila jaji wa AI, kwa sababu jaji pia angepungua. Inafanya kazi kwenye usajili wa Max kupitia Claude Code isiyo na kichwa,

1:55 kwa kuwa toleo la API liligharimu karibu dola elfu moja mia sita kwa mwezi. Na toleo la Claude Code limebandikwa, kwa sababu, kwa maneno ya repo, kiunganishi kilichobadilishwa kinaonekana sawa na mfumo uliobadilishwa. Takwimu zinatokana na karatasi inayoitwa Kuongeza Baa za Makosa kwa Evals, na Evan Miller huko Anthropic. Kwa hivyo hesabu ya Anthropic sasa inachunguza Anthropic, ambayo ni toleo la kitaaluma la kunukuu masharti ya huduma kwa usaidizi wa wateja.

Inaweza kuona nini: pointi 7.5, na idadi ya token inasonga kwanza

2:19 Swali la pili, linaweza kuona nini? Kwa dirisha la siku kumi, kushuka kwa takriban pointi saba na nusu. Ili kuthibitisha kuwa rig inafanya kazi, mwandishi alipunguza juhudi za Claude kwa makusudi. Juhudi za wastani zilipunguza matokeo kwa karibu robo, na alama kwa pointi nne tu. Juhudi za chini zilipunguza matokeo kwa karibu theluthi mbili, kwa pointi nane. Hiyo ndiyo sehemu ya kuiba. Mawazo machache yanaonekana katika idadi ya tokeni kabla ya kuonekana katika majibu.

2:43 Kwa hivyo bandika toleo lako la mfumo, kumbukumbu za tokeni za matokeo kwa kazi, na uweke maswali yako machache yaliyogandishwa. Ikiwa wakala wako ghafla anaandika kwa ufupi, angalia kumbukumbu zako kabla ya kuangalia Reddit. Na hapa ndio sehemu ya uaminifu.

Sehemu ya upofu: kubadilisha Opus 5 na funguo 8 za majibu zisizo sahihi

2:54 Kubadilisha kimya kimya Opus tano ya zamani kulikuwa mabadiliko madogo sana kwa rig kuitisha, na readme inasema hivyo mbele. Ukaguzi pia ulipata funguo nane za majibu ambazo zinaonekana kuwa mbaya, kwa hivyo kichunguzi cha nerf kilipata hitilafu katika benchmark kabla ya kupata nerf.

Anthropic: hatupunguzi kamwe ubora wa mfano

3:08 Swali la tatu, Anthropic inasema nini? Mwaka jana, baada ya wimbi la malalamiko, Anthropic ilichapisha ripoti ya postmortem. Inasema, nukuu, hatupunguzi kamwe ubora wa mfumo kutokana na mahitaji, wakati wa mchana au mzigo wa seva. Ujumbe huo huo unakiri hitilafu tatu zilikuwa zimepunguza Claude, na karibu theluthi moja ya watumiaji wa Claude Code walifikia seva zisizo sahihi angalau mara moja. Kwa hivyo malalamiko yalikuwa halisi na sababu ilikuwa hitilafu, ndio maana repo inaonya kuwa wiki ya uzinduzi inaweza kuwa wiki mbaya zaidi.

3:35 Siku sita kati ya thelathini zimepita. Wito wa kwanza unaweza kutua karibu Oktoba ishirini na nne, kwa hivyo jibu la uaminifu ni kwamba hakuna anayejua, pamoja na kila mtu aliyekuwa na uhakika. Tukizungumzia nambari ambazo hakuna anayechapisha.

Vituo vya data huweka nambari zao siri; Backblaze huchapisha

3:46 Lighthouse Reports na gazeti la Uholanzi Trouw waligundua kuwa idadi kubwa ya vituo vya data vya Ulaya huweka matumizi yao ya umeme na maji siri, ingawa sheria ya EU imehitaji kuripoti kwa miaka mitatu. Nchini Uholanzi, chini ya robo huchapisha. Kituo kimoja cha data cha Microsoft pekee kinatumia karibu asilimia moja ya umeme wa Uholanzi. Wakati huo huo, Backblaze alifanya tena jambo la kuchosha. Takwimu zake za robo mwaka za diski zinahusu takriban diski ngumu elfu tatu na hamsini, na kiwango cha kushindwa kiliongezeka hadi asilimia moja nukta saba tatu,

4:16 cha juu zaidi kwa muda. Mifumo mitatu ya Seagate haikuwa na kushindwa. Hiyo ndiyo inavyoonekana baseline ya umma, robo baada ya robo, kwa miaka kumi na tatu.

Mstari wa mikopo: Claude alisaidia kujenga mita

4:25 Sasa, mstari huo wa mikopo. Readme inakiri kuwa sehemu kubwa ya repo iliandikwa kwa msaada wa Claude, ambayo ndio mfumo unaopimwa. Kwa hivyo Claude alisaidia kujenga mita inayochunguza kama Claude amepungua akili. Ndio maana wanafunzi ni kazi wazi. Kwa maneno ya mwandishi, hupaswi kumwamini mwandishi, binadamu au vinginevyo. Ikiwa unapenda kusoma hili kuliko kunisikia nikisema, diff inatua kwenye kikasha chako

4:46 kila asubuhi, bure katika the daily diff dot dev, kiungo hapo chini. Kwa hivyo, uamuzi wa leo juu ya live nerf.

Uamuzi: SHIP IT, na usimnukuu kabla ya Oktoba 24

4:51 SHIP IT. Ningetuma kwa sababu ndiyo hoja ya kwanza ya nerf niliyowahi kuona yenye timestamp, kitabu cha sheria cha umma na eneo la upofu lililotajwa. Usiiache kabla ya Oktoba ishirini na nne. Na hiyo ndiyo tofauti kwa leo. Mimi ni Niko kutoka Axrisi. Unganisha kwa uwajibikaji.

Vyanzo

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com