+− THE DAILY DIFFdev & AI news
SHIP IT

Jinsi ya kugundua Claude nerf (kwa data halisi)

Watu wanasema Claude hupungua akili wiki chache baada ya kila uzinduzi.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Watu wanasema Claude hupungua akili wiki chache baada ya kila uzinduzi. Msanidi programu mmoja aliweka Claude Opus 5.5 kwenye saa ya siku 30 tangu wiki ya uzinduzi, na maswali yaliyogandishwa, Claude Code iliyobandikwa na sheria za umma, na inaonyesha ni kwa nini hakuna mtu angeweza kujua hapo awali, na kwa nini idadi yako ya token ndio kitu cha kutazama. Uamuzi: SHIP IT.

Soma toleo lililoandikwa (Kiingereza) ↗

Nini video hii inashughulikia

  • Claude anapungua akili baada ya uzinduzi: nadharia inakutana na saa ya siku sifuri
  • livenerf: saa ya siku 30 kwenye Opus 5.5 kutoka wiki ya uzinduzi
  • Jinsi ya kukamata nerf: Maswali 78 ambayo wakati mwingine ni sahihi
  • Inaweza kuona nini: pointi 7.5, na idadi ya token inasonga kwanza
  • Sehemu ya upofu: kubadilisha Opus 5 na funguo 8 za majibu zisizo sahihi

Maswali na majibu

Unawezaje kujaribu kama mfumo wa AI umedhoofishwa kimya kimya baada ya kuzinduliwa?

Endesha maswali yale yale yaliyogandishwa kwa ratiba maalum na uyape alama kwa mechi kamili. Hifadhi ya livenerf inaendesha saa ya siku 30 kwenye Claude Opus 5.5, mara moja kwa siku, ikiwa na kumbukumbu ambazo hakuna anayeweza kuzihariri. Inatumia maswali 78 ambayo mfumo mara chache tu hupata majibu sahihi, kwa sababu swali ambalo linajibu kwa usahihi kila wakati haliwezi kushuka. Inabana toleo la Claude Code, kwani mabadiliko ya mfumo yanaonekana kama mfumo uliopungua.

Tazama sehemu hii 1:24 · github.com · github.com

Ni ukubwa gani wa kushuka ambao mita ya livenerf inaweza kugundua?

Kwa kila dirisha la siku kumi, mita inaweza kuona kushuka kwa takriban pointi 7.5. Ili kuthibitisha kuwa rig inafanya kazi, mwandishi alipunguza juhudi za Claude kwa makusudi. Juhudi za chini zilipunguza matokeo kwa karibu theluthi mbili na alama kwa pointi nane. Kubadilisha kimya kimya Opus 5 ya zamani kulikuwa mabadiliko madogo sana kwa rig kuita, na readme inasema hivyo mbele.

Tazama sehemu hii 2:19 · github.com · github.com

Watengenezaji wanapaswa kufuatilia nini ili kugundua ikiwa wakala wa AI anafikiria kidogo?

Idadi ya tokeni za pato kwa kila kazi. Katika majaribio ya livenerf, kufikiria kidogo kulionekana katika hesabu ya tokeni kabla ya kuonekana kwenye majibu. Kipindi kinapendekeza kubana toleo la mfumo wako, kuweka kumbukumbu za tokeni za pato kwa kila kazi, na kuweka maswali machache yaliyogandishwa ya kwako. Ikiwa wakala wako ghafla anaandika kwa ufupi, angalia kumbukumbu zako kwanza.

Tazama sehemu hii 2:19 · github.com · news.ycombinator.com

Je, Anthropic inasema inapunguza ubora wa Claude wakati mahitaji ni makubwa?

Anthropic inasema haifanyi hivyo. Ripoti yake ya baada ya Septemba 2025 inasema haipunguzi kamwe ubora wa mfumo kutokana na mahitaji, wakati wa mchana au mzigo wa seva. Chapisho hilo hilo linakiri kwamba hitilafu tatu zilikuwa zimepunguza Claude, na kwamba karibu theluthi moja ya watumiaji wa Claude Code walipiga seva zisizo sahihi angalau mara moja.

Tazama sehemu hii 3:08 · www.anthropic.com

Je, matokeo ya livenerf yanaweza kuaminiwa kuonyesha nerf ya Claude bado?

Uamuzi wa The Daily Diff ulikuwa SHIP IT kwa mradi huo, kwa sababu ndio hoja ya kwanza ya nerf yenye muhuri wa muda, kitabu cha sheria cha umma na kipofu kilichotajwa. Kipindi kinasema usiinukuu kabla ya Oktoba 24, kwa sababu ni siku sita tu kati ya thelathini zilikuwa zimepita na simu ya kwanza inayowezekana inatua wakati huo. Ukaguzi pia ulipata funguo 8 za majibu ambazo zinaonekana kuwa si sahihi.

Tazama sehemu hii 4:50 · github.com · github.com · news.ycombinator.com

Nakala iliyotafsiriwa

Imetafsiriwa kutoka simulizi asili ya Kiingereza. Sauti na manukuu yanayopatikana yanadhibitiwa na YouTube.

Claude anapungua akili baada ya uzinduzi: nadharia inakutana na saa ya siku sifuri

0:00 Kila mtu anajua Claude hupungua akili wiki chache baada ya uzinduzi. Kwa hivyo msanidi programu mmoja aliweka Opus tano nukta tano kwenye saa tangu wiki ya uzinduzi, na saa inasema hakuna mtu angeweza kujua bado. Katika video hii, maswali matatu. Unakamatana vipi na nerf? Mita hii inaweza kuona nini? Na Anthropic inasema nini? Na mstari mmoja katika mikopo ya repo ulinifanya nicheke kwa sauti kubwa.

0:20 Nitaifikia mwishoni. Ni Jumatano, Septemba thelathini, na hii ni The Daily Diff. Hadithi tatu leo, na kubwa ni repo ya GitHub inayoitwa live nerf.

livenerf: saa ya siku 30 kwenye Opus 5.5 kutoka wiki ya uzinduzi

0:30 Kwa miezi kadhaa, watu wamesema Anthropic inaficha siri mifumo yake baada ya uzinduzi. Nadharia za kawaida ni mfumo ulioshinikizwa, mfumo mdogo chini ya jina moja au mawazo machache tu. Repo inaita kila hoja hadi sasa hisia dhidi ya hisia. Opus tano nukta tano ilitumwa mnamo Septemba ishirini na mbili, na wiki moja iliyopita nilikwambia iliongoza bodi huru wakati ikiandika mara tatu zaidi ya maneno kuliko mfumo wa wastani. Siku mbili na nusu zimepita, msanidi programu aliyeitwa ninja hawk alianza saa,

0:59 mara moja kwa siku kwa siku thelathini, na kumbukumbu ambazo hakuna mtu anayeweza kuhariri. Thread ya Hacker News ilifikia karibu pointi mia nane na kugawanyika kama gumzo la timu chat. Mtoa maoni mmoja anasema kupunguza mifumo si halisi katika idadi kubwa ya kesi zilizoripotiwa. Mwingine anasema watu wanazoea tu kiwango kipya cha akili. Na mtumiaji mmoja mwenye nguvu wa Claude Code sasa anafuta kisanduku cha 'rate-this-session' kila wakati, kwa sababu kukadiria Claude kulionekana kumfanya awe mbaya zaidi. Ukaguzi wa wenzao. Kwa hivyo, swali la kwanza, unakamatana vipi na nerf?

Jinsi ya kukamata nerf: Maswali 78 ambayo wakati mwingine ni sahihi

1:27 Unaanza na karibu maswali elfu mbili mia tatu ya mtihani mgumu, na Opus anapata asilimia tisini na tatu sahihi kwa jaribio la kwanza, ambayo haina maana kwa kichunguzi, kwa kuwa swali analolijibu sahihi kila wakati haliwezi kushuka. Asilimia tisini na saba yalikuwa sahihi kila wakati au mabaya kila wakati, na sabini na nane aliyoyajibu sahihi wakati mwingine tu yaliunda jopo. Prompt sawa, hakuna zana, na ukaguzi wa mechi kamili bila jaji wa AI, kwa sababu jaji pia angepungua. Inafanya kazi kwenye usajili wa Max kupitia Claude Code isiyo na kichwa,

1:55 kwa kuwa toleo la API liligharimu karibu dola elfu moja mia sita kwa mwezi. Na toleo la Claude Code limebandikwa, kwa sababu, kwa maneno ya repo, kiunganishi kilichobadilishwa kinaonekana sawa na mfumo uliobadilishwa. Takwimu zinatokana na karatasi inayoitwa Kuongeza Baa za Makosa kwa Evals, na Evan Miller huko Anthropic. Kwa hivyo hesabu ya Anthropic sasa inachunguza Anthropic, ambayo ni toleo la kitaaluma la kunukuu masharti ya huduma kwa usaidizi wa wateja.

Inaweza kuona nini: pointi 7.5, na idadi ya token inasonga kwanza

2:19 Swali la pili, linaweza kuona nini? Kwa dirisha la siku kumi, kushuka kwa takriban pointi saba na nusu. Ili kuthibitisha kuwa rig inafanya kazi, mwandishi alipunguza juhudi za Claude kwa makusudi. Juhudi za wastani zilipunguza matokeo kwa karibu robo, na alama kwa pointi nne tu. Juhudi za chini zilipunguza matokeo kwa karibu theluthi mbili, kwa pointi nane. Hiyo ndiyo sehemu ya kuiba. Mawazo machache yanaonekana katika idadi ya tokeni kabla ya kuonekana katika majibu.

2:43 Kwa hivyo bandika toleo lako la mfumo, kumbukumbu za tokeni za matokeo kwa kazi, na uweke maswali yako machache yaliyogandishwa. Ikiwa wakala wako ghafla anaandika kwa ufupi, angalia kumbukumbu zako kabla ya kuangalia Reddit. Na hapa ndio sehemu ya uaminifu.

Sehemu ya upofu: kubadilisha Opus 5 na funguo 8 za majibu zisizo sahihi

2:54 Kubadilisha kimya kimya Opus tano ya zamani kulikuwa mabadiliko madogo sana kwa rig kuitisha, na readme inasema hivyo mbele. Ukaguzi pia ulipata funguo nane za majibu ambazo zinaonekana kuwa mbaya, kwa hivyo kichunguzi cha nerf kilipata hitilafu katika benchmark kabla ya kupata nerf.

Anthropic: hatupunguzi kamwe ubora wa mfano

3:08 Swali la tatu, Anthropic inasema nini? Mwaka jana, baada ya wimbi la malalamiko, Anthropic ilichapisha ripoti ya postmortem. Inasema, nukuu, hatupunguzi kamwe ubora wa mfumo kutokana na mahitaji, wakati wa mchana au mzigo wa seva. Ujumbe huo huo unakiri hitilafu tatu zilikuwa zimepunguza Claude, na karibu theluthi moja ya watumiaji wa Claude Code walifikia seva zisizo sahihi angalau mara moja. Kwa hivyo malalamiko yalikuwa halisi na sababu ilikuwa hitilafu, ndio maana repo inaonya kuwa wiki ya uzinduzi inaweza kuwa wiki mbaya zaidi.

3:35 Siku sita kati ya thelathini zimepita. Wito wa kwanza unaweza kutua karibu Oktoba ishirini na nne, kwa hivyo jibu la uaminifu ni kwamba hakuna anayejua, pamoja na kila mtu aliyekuwa na uhakika. Tukizungumzia nambari ambazo hakuna anayechapisha.

Vituo vya data huweka nambari zao siri; Backblaze huchapisha

3:46 Lighthouse Reports na gazeti la Uholanzi Trouw waligundua kuwa idadi kubwa ya vituo vya data vya Ulaya huweka matumizi yao ya umeme na maji siri, ingawa sheria ya EU imehitaji kuripoti kwa miaka mitatu. Nchini Uholanzi, chini ya robo huchapisha. Kituo kimoja cha data cha Microsoft pekee kinatumia karibu asilimia moja ya umeme wa Uholanzi. Wakati huo huo, Backblaze alifanya tena jambo la kuchosha. Takwimu zake za robo mwaka za diski zinahusu takriban diski ngumu elfu tatu na hamsini, na kiwango cha kushindwa kiliongezeka hadi asilimia moja nukta saba tatu,

4:16 cha juu zaidi kwa muda. Mifumo mitatu ya Seagate haikuwa na kushindwa. Hiyo ndiyo inavyoonekana baseline ya umma, robo baada ya robo, kwa miaka kumi na tatu.

Mstari wa mikopo: Claude alisaidia kujenga mita

4:25 Sasa, mstari huo wa mikopo. Readme inakiri kuwa sehemu kubwa ya repo iliandikwa kwa msaada wa Claude, ambayo ndio mfumo unaopimwa. Kwa hivyo Claude alisaidia kujenga mita inayochunguza kama Claude amepungua akili. Ndio maana wanafunzi ni kazi wazi. Kwa maneno ya mwandishi, hupaswi kumwamini mwandishi, binadamu au vinginevyo. Ikiwa unapenda kusoma hili kuliko kunisikia nikisema, diff inatua kwenye kikasha chako

4:46 kila asubuhi, bure katika the daily diff dot dev, kiungo hapo chini. Kwa hivyo, uamuzi wa leo juu ya live nerf.

Uamuzi: SHIP IT, na usimnukuu kabla ya Oktoba 24

4:51 SHIP IT. Ningetuma kwa sababu ndiyo hoja ya kwanza ya nerf niliyowahi kuona yenye timestamp, kitabu cha sheria cha umma na eneo la upofu lililotajwa. Usiiache kabla ya Oktoba ishirini na nne. Na hiyo ndiyo tofauti kwa leo. Mimi ni Niko kutoka Axrisi. Unganisha kwa uwajibikaji.

Vyanzo

  1. livenerfgithub.com
  2. Validationgithub.com
  3. Hacker Newsnews.ycombinator.com
  4. Anthropic postmortem (Sep 2025)www.anthropic.com
  5. Adding Error Bars to Evals (Evan Miller)arxiv.org
  6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
  7. NL Timesnltimes.nl
  8. Hacker Newsnews.ycombinator.com
  9. Backblaze Drive Stats Q2 2026www.backblaze.com
  10. Hacker Newsnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Video zinazohusiana