Kaip aptikti Claude silpnėjimą (su realiais duomenimis)
Žmonės sako, kad Claude tampa kvailesnis praėjus kelioms savaitėms po kiekvieno paleidimo.
Žmonės sako, kad Claude tampa kvailesnis praėjus kelioms savaitėms po kiekvieno paleidimo. Vienas kūrėjas nustatė Claude Opus 5.5 30 dienų laikrodį nuo paleidimo savaitės, su užšaldytais klausimais, prisegtu Claude kodu ir viešomis taisyklėmis, ir tai parodo, kodėl niekas negalėjo žinoti anksčiau ir kodėl jūsų žetonų skaičius yra tai, ką reikia stebėti. Verdiktas: SHIP IT.
Skaityti rašytinę versiją (anglų k.) ↗
Kas aptariama šiame vaizdo įraše
- Claude po paleidimo tampa kvailesnis: teorija susiduria su nuline dienos skaičiavimo sistema
- livenerf: 30 dienų laikrodis Opus 5.5 nuo paleidimo savaitės
- Kaip aptikti silpnėjimą: 78 kartais teisingi klausimai
- Ką jis gali matyti: 7,5 taško, ir žetonų skaičius juda pirmas
- Akloji zona: Opus 5 pakeitimas ir 8 neteisingi atsakymų raktai
Klausimai ir atsakymai
Kaip galima patikrinti, ar dirbtinio intelekto modelis po paleidimo nebuvo tyliai pablogintas?
Reguliariai vykdyti tuos pačius užduotus klausimus ir vertinti juos pagal tikslų atitikimą. "Livenerf" saugykla 30 dienų stebi "Claude Opus 5.5" kasdien, su nekoreguojamais žurnalais. Ji naudoja 78 klausimus, į kuriuos modelis atsako tik kartais, nes klausimas, į kurį visada atsakoma teisingai, negali pablogėti. Ji užfiksuoja "Claude Code" versiją, nes pakeista testavimo sistema atrodo kaip pakeistas modelis.
Kokio dydžio nuokrypį gali aptikti "livenerf" matuoklis?
Per dešimties dienų laikotarpį matuoklis gali aptikti maždaug 7,5 balo kritimą. Kad įrodytų, jog įrenginys veikia, autorius sąmoningai sumažino "Claude" pastangas. Mažos pastangos sumažino išvestį beveik dviem trečdaliais ir balus aštuoniais punktais. Tylus perėjimas prie senesnės "Opus 5" versijos buvo per mažas pokytis, kad įrenginys jį užfiksuotų, ir apie tai aiškiai rašoma README faile.
Ką turėtų stebėti kūrėjai, norėdami pastebėti, ar dirbtinio intelekto agentas mažiau mąsto?
Išvesties žetonų skaičių vienai užduočiai. "Livenerf" testuose mažesnis mąstymas pasirodė žetonų skaičiuje anksčiau nei atsakymuose. Epizodas siūlo užfiksuoti modelio versiją, registruoti išvesties žetonus vienai užduočiai ir pasilikti keletą savo užduotų klausimų. Jei jūsų agentas staiga rašo trumpiau, pirmiausia patikrinkite žurnalus.
Ar Anthropic teigia, kad sumažina Claude kokybę, kai paklausa yra didelė?
Anthropic teigia, kad ne. Jų 2025 m. rugsėjo mėn. ataskaitoje teigiama, kad jie niekada nesumažina modelio kokybės dėl paklausos, paros laiko ar serverio apkrovos. Toje pačioje ataskaitoje pripažįstama, kad trys klaidos pablogino Claude, ir kad beveik trečdalis Claude Code vartotojų bent kartą pasiekė netinkamus serverius.
Ar galima pasitikėti "livenerf" rezultatais, kad būtų galima parodyti Claude nuosmukį?
The Daily Diff verdiktas buvo SHIP IT projektui, nes tai pirmasis nuosmukio argumentas su laiko žyma, viešomis taisyklėmis ir nurodyta akląja dėme. Epizode rašoma, kad negalima jo cituoti iki spalio 24 d., nes praėjo tik šešios iš trisdešimties dienų ir tada įmanomas pirmasis skambutis. Auditas taip pat nustatė 8 atsakymų raktus, kurie atrodo klaidingi.
Išverstas transkriptas
Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.
Claude po paleidimo tampa kvailesnis: teorija susiduria su nuline dienos skaičiavimo sistema
0:00 Visi žino, kad Claude tampa kvailesnis praėjus kelioms savaitėms po paleidimo. Taigi vienas kūrėjas nustatė Opus penkių su puse 30 dienų laikrodį nuo paleidimo savaitės, ir laikrodis sako, kad niekas dar negalėjo žinoti. Šiame vaizdo įraše trys klausimai. Kaip aptikti silpnėjimą? Ką gali matyti šis matuoklis? Ir ką sako Anthropic? Ir viena eilutė repozitorijos kredituose privertė mane garsiai juoktis.
0:20 Prie to prieisiu pabaigoje. Šiandien trečiadienis, rugsėjo trisdešimtoji, ir tai yra The Daily Diff. Šiandien trys istorijos, o didžiausia – GitHub repozitorija pavadinimu live nerf.
livenerf: 30 dienų laikrodis Opus 5.5 nuo paleidimo savaitės
0:30 Mėnesius žmonės sakė, kad Anthropic tyliai silpnina savo modelius po paleidimo. Įprastos teorijos yra suspaustas modelis, mažesnis modelis tuo pačiu pavadinimu arba tiesiog mažiau mąstymo. Repozitorija visus iki šiol buvusius argumentus vadina emocijomis prieš emocijas. Opus penki su puse buvo išleistas rugsėjo dvidešimt antroji, ir prieš savaitę aš jums sakiau, kad jis pasiekė aukščiausią nepriklausomos lentelės vietą, parašydamas tris kartus daugiau žodžių nei vidutinis modelis. Praėjus dviem su puse dienų, kūrėjas, pavadintas ninja hawk, paleido laikrodį,
0:59 kartą per dieną trisdešimt dienų, su žurnalais, kurių niekas negali redaguoti. Hacker News tema pasiekė beveik aštuonis šimtus taškų ir pasidalino kaip komandos pokalbis. Vienas komentatorius sako, kad modelių silpninimas nėra realus didžiojoje daugumoje praneštų atvejų. Kitas sako, kad žmonės tiesiog pripranta prie naujo intelekto lygio. Ir vienas Claude Code galios vartotojas dabar atmeta iššokantįjį langą „įvertinti šią sesiją“ kiekvieną kartą, nes Claude įvertinimas, atrodo, jį pablogino. Kolegų peržiūra. Taigi, pirmas klausimas, kaip aptikti silpnėjimą?
Kaip aptikti silpnėjimą: 78 kartais teisingi klausimai
1:27 Pradedate nuo maždaug dviejų tūkstančių trijų šimtų sunkių egzaminų klausimų, ir Opus devyniasdešimt tris procentus atlieka teisingai iš pirmo bandymo, o tai nenaudinga detektoriui, nes klausimas, į kurį jis visada teisingai atsako, negali nusileisti. Devyniasdešimt septyni procentai visada buvo teisingi arba visada neteisingi, ir septyniasdešimt aštuoni, į kuriuos jis tik kartais teisingai atsako, tapo komisija. Tas pats raginimas, jokių įrankių ir tikslus atitikimo įvertinimas be AI teisėjo, nes teisėjas taip pat dreifuotų. Jis veikia su „Max“ prenumerata per „headless Claude Code“,
1:55 nes API versija kainavo apie tūkstantį šešis šimtus dolerių per mėnesį. O „Claude Code“ versija yra prisegta, nes, repozitorijos žodžiais tariant, pakeista apdaila atrodo lygiai taip pat kaip pakeistas modelis. Statistika paimta iš straipsnio „Pridedant klaidų juostas į vertinimus“, kurį parašė Evanas Milleris iš Anthropic. Taigi, Anthropic pačios matematika dabar audituoja Anthropic, o tai yra akademinė versija sutarties sąlygų citavimas atgal klientų aptarnavimui.
Ką jis gali matyti: 7,5 taško, ir žetonų skaičius juda pirmas
2:19 Antras klausimas, ką jis gali matyti? Per dešimties dienų langą, maždaug septynių su puse taškų kritimas. Kad įrodytų, jog sistema veikia, autorius tyčia sumažino Claude pastangas. Vidutinės pastangos sumažino išvestį maždaug ketvirtadaliu, o balą tik keturiais punktais. Mažos pastangos sumažino išvestį beveik dviem trečdaliais, už aštuonis taškus. Tai ta dalis, kurią reikia pavogti. Mažiau mąstymo pasireiškia žetonų skaičiuje anksčiau, nei pasireiškia atsakymuose.
2:43 Taigi, prisegkite savo modelio versiją, užregistruokite išvesties žetonus pagal užduotį, ir turėkite keletą savo užšaldytų klausimų. Jei jūsų agentas staiga rašo trumpiau, patikrinkite savo žurnalus, prieš tikrindami Reddit. Ir štai sąžininga dalis.
Akloji zona: Opus 5 pakeitimas ir 8 neteisingi atsakymų raktai
2:54 Tylus senesnio „Opus five“ pakeitimas buvo per mažas pokytis, kad sistema jį užfiksuotų, ir tai nurodyta README failo pradžioje. Auditas taip pat rado aštuonis atsakymų raktus, kurie atrodo neteisingi, taigi „nerf“ detektorius rado klaidų etalone, dar prieš aptikdamas „nerf“.
Anthropic: niekada nesumažiname modelio kokybės
3:08 Trečias klausimas, ką sako Anthropic? Praėjusiais metais, po nusiskundimų bangos, Anthropic paskelbė postmortem. Jame rašoma, cituoju, niekada nesumažiname modelio kokybės dėl paklausos, paros laiko ar serverio apkrovos. Tame pačiame įraše pripažįstama, kad trys klaidos pablogino Claude, ir beveik trečdalis Claude Code vartotojų bent kartą pataikė į neteisingus serverius. Taigi skundai buvo tikri, o priežastis – klaidos, štai kodėl repozitorija įspėja, kad paleidimo savaitė gali būti blogiausia savaitė.
3:35 Šešios iš trisdešimties dienų yra praėjusios. Pirmas galimas skambutis nusileidžia maždaug spalio dvidešimt ketvirtąją, todėl sąžiningas atsakymas yra, kad niekas nežino, įskaitant visus, kurie buvo tikri. Kalbant apie skaičius, kurių niekas neskelbia.
Duomenų centrai slepia savo numerius; Backblaze skelbia
3:46 Lighthouse Reports ir olandų laikraštis Trouw nustatė, kad didžioji dauguma Europos duomenų centrų laiko paslaptyje savo energijos ir vandens naudojimą, nors ES taisyklė reikalauja ataskaitų teikimo jau trejus metus. Nyderlanduose mažiau nei ketvirtadalis skelbia. Vienas Microsoft duomenų centras sunaudoja apie vieną procentą Nyderlandų elektros energijos. Tuo tarpu Backblaze vėl padarė nuobodų dalyką. Jo ketvirtiniai diskų statistikos duomenys apima maždaug tris šimtus penkiasdešimt tūkstančių kietųjų diskų, ir gedimų dažnis pakilo iki vieno taško septyniasdešimt trys procentų,
4:16 didžiausias per kurį laiką. Trys Seagate modeliai neturėjo jokių gedimų. Štai kaip atrodo viešoji bazinė linija, ketvirtį po ketvirčio, jau trylika metų.
Kreditų eilutė: Claude padėjo sukurti matuoklį
4:25 Dabar, ta kreditų eilutė. Readme faile pripažįstama, kad didelė dalis repozitorijos buvo parašyta padedant Claude, o tai yra modelis, kuris yra matuojamas. Taigi Claude padėjo sukurti matuoklį, kuris patikrina, ar Claude netapo kvailesnis. Štai kodėl vertintojai yra paprastos funkcijos. Autoriaus žodžiais tariant, neturėtumėte pasitikėti autoriumi, žmogaus ar kitokiu. Jei norėtumėte tai perskaityti, o ne išgirsti iš manęs, skirtumas ateina į jūsų pašto dėžutę
4:46 kiekvieną rytą, nemokamai daily diff dot dev, nuoroda žemiau. Taigi, šiandieninis verdiktas dėl live nerf.
Verdiktas: SHIP IT, ir nekoreguokite jo anksčiau nei spalio 24 d.
4:51 SHIP IT. Aš jį paleisčiau, nes tai pirmasis „nerf“ argumentas, kurį mačiau su laiko žyma, viešų taisyklių knyga ir nurodyta akla vieta. Tik nekoreguokite jo anksčiau nei spalio dvidešimt ketvirtąją. Ir tai šiandienos skirtumas. Aš esu Niko iš Axrisi. Sujungti atsakingai.
Šaltiniai
- livenerfgithub.com
- Validationgithub.com
- Hacker Newsnews.ycombinator.com
- Anthropic postmortem (Sep 2025)www.anthropic.com
- Adding Error Bars to Evals (Evan Miller)arxiv.org
- Inspect (UK AI Security Institute)inspect.aisi.org.uk
- NL Timesnltimes.nl
- Hacker Newsnews.ycombinator.com
- Backblaze Drive Stats Q2 2026www.backblaze.com
- Hacker Newsnews.ycombinator.com



