Kaip aptikti Claude silpnėjimą (su realiais duomenimis)

Kas aptariama šiame vaizdo įraše

• Claude po paleidimo tampa kvailesnis: teorija susiduria su nuline dienos skaičiavimo sistema
• livenerf: 30 dienų laikrodis Opus 5.5 nuo paleidimo savaitės
• Kaip aptikti silpnėjimą: 78 kartais teisingi klausimai
• Ką jis gali matyti: 7,5 taško, ir žetonų skaičius juda pirmas
• Akloji zona: Opus 5 pakeitimas ir 8 neteisingi atsakymų raktai

Išverstas transkriptas

Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.

Claude po paleidimo tampa kvailesnis: teorija susiduria su nuline dienos skaičiavimo sistema

0:00 Visi žino, kad Claude tampa kvailesnis praėjus kelioms savaitėms po paleidimo. Taigi vienas kūrėjas nustatė Opus penkių su puse 30 dienų laikrodį nuo paleidimo savaitės, ir laikrodis sako, kad niekas dar negalėjo žinoti. Šiame vaizdo įraše trys klausimai. Kaip aptikti silpnėjimą? Ką gali matyti šis matuoklis? Ir ką sako Anthropic? Ir viena eilutė repozitorijos kredituose privertė mane garsiai juoktis.

0:20 Prie to prieisiu pabaigoje. Šiandien trečiadienis, rugsėjo trisdešimtoji, ir tai yra The Daily Diff. Šiandien trys istorijos, o didžiausia – GitHub repozitorija pavadinimu live nerf.

livenerf: 30 dienų laikrodis Opus 5.5 nuo paleidimo savaitės

0:30 Mėnesius žmonės sakė, kad Anthropic tyliai silpnina savo modelius po paleidimo. Įprastos teorijos yra suspaustas modelis, mažesnis modelis tuo pačiu pavadinimu arba tiesiog mažiau mąstymo. Repozitorija visus iki šiol buvusius argumentus vadina emocijomis prieš emocijas. Opus penki su puse buvo išleistas rugsėjo dvidešimt antroji, ir prieš savaitę aš jums sakiau, kad jis pasiekė aukščiausią nepriklausomos lentelės vietą, parašydamas tris kartus daugiau žodžių nei vidutinis modelis. Praėjus dviem su puse dienų, kūrėjas, pavadintas ninja hawk, paleido laikrodį,

0:59 kartą per dieną trisdešimt dienų, su žurnalais, kurių niekas negali redaguoti. Hacker News tema pasiekė beveik aštuonis šimtus taškų ir pasidalino kaip komandos pokalbis. Vienas komentatorius sako, kad modelių silpninimas nėra realus didžiojoje daugumoje praneštų atvejų. Kitas sako, kad žmonės tiesiog pripranta prie naujo intelekto lygio. Ir vienas Claude Code galios vartotojas dabar atmeta iššokantįjį langą „įvertinti šią sesiją“ kiekvieną kartą, nes Claude įvertinimas, atrodo, jį pablogino. Kolegų peržiūra. Taigi, pirmas klausimas, kaip aptikti silpnėjimą?

Kaip aptikti silpnėjimą: 78 kartais teisingi klausimai

1:27 Pradedate nuo maždaug dviejų tūkstančių trijų šimtų sunkių egzaminų klausimų, ir Opus devyniasdešimt tris procentus atlieka teisingai iš pirmo bandymo, o tai nenaudinga detektoriui, nes klausimas, į kurį jis visada teisingai atsako, negali nusileisti. Devyniasdešimt septyni procentai visada buvo teisingi arba visada neteisingi, ir septyniasdešimt aštuoni, į kuriuos jis tik kartais teisingai atsako, tapo komisija. Tas pats raginimas, jokių įrankių ir tikslus atitikimo įvertinimas be AI teisėjo, nes teisėjas taip pat dreifuotų. Jis veikia su „Max“ prenumerata per „headless Claude Code“,

1:55 nes API versija kainavo apie tūkstantį šešis šimtus dolerių per mėnesį. O „Claude Code“ versija yra prisegta, nes, repozitorijos žodžiais tariant, pakeista apdaila atrodo lygiai taip pat kaip pakeistas modelis. Statistika paimta iš straipsnio „Pridedant klaidų juostas į vertinimus“, kurį parašė Evanas Milleris iš Anthropic. Taigi, Anthropic pačios matematika dabar audituoja Anthropic, o tai yra akademinė versija sutarties sąlygų citavimas atgal klientų aptarnavimui.

Ką jis gali matyti: 7,5 taško, ir žetonų skaičius juda pirmas

2:19 Antras klausimas, ką jis gali matyti? Per dešimties dienų langą, maždaug septynių su puse taškų kritimas. Kad įrodytų, jog sistema veikia, autorius tyčia sumažino Claude pastangas. Vidutinės pastangos sumažino išvestį maždaug ketvirtadaliu, o balą tik keturiais punktais. Mažos pastangos sumažino išvestį beveik dviem trečdaliais, už aštuonis taškus. Tai ta dalis, kurią reikia pavogti. Mažiau mąstymo pasireiškia žetonų skaičiuje anksčiau, nei pasireiškia atsakymuose.

2:43 Taigi, prisegkite savo modelio versiją, užregistruokite išvesties žetonus pagal užduotį, ir turėkite keletą savo užšaldytų klausimų. Jei jūsų agentas staiga rašo trumpiau, patikrinkite savo žurnalus, prieš tikrindami Reddit. Ir štai sąžininga dalis.

Akloji zona: Opus 5 pakeitimas ir 8 neteisingi atsakymų raktai

2:54 Tylus senesnio „Opus five“ pakeitimas buvo per mažas pokytis, kad sistema jį užfiksuotų, ir tai nurodyta README failo pradžioje. Auditas taip pat rado aštuonis atsakymų raktus, kurie atrodo neteisingi, taigi „nerf“ detektorius rado klaidų etalone, dar prieš aptikdamas „nerf“.

Anthropic: niekada nesumažiname modelio kokybės

3:08 Trečias klausimas, ką sako Anthropic? Praėjusiais metais, po nusiskundimų bangos, Anthropic paskelbė postmortem. Jame rašoma, cituoju, niekada nesumažiname modelio kokybės dėl paklausos, paros laiko ar serverio apkrovos. Tame pačiame įraše pripažįstama, kad trys klaidos pablogino Claude, ir beveik trečdalis Claude Code vartotojų bent kartą pataikė į neteisingus serverius. Taigi skundai buvo tikri, o priežastis – klaidos, štai kodėl repozitorija įspėja, kad paleidimo savaitė gali būti blogiausia savaitė.

3:35 Šešios iš trisdešimties dienų yra praėjusios. Pirmas galimas skambutis nusileidžia maždaug spalio dvidešimt ketvirtąją, todėl sąžiningas atsakymas yra, kad niekas nežino, įskaitant visus, kurie buvo tikri. Kalbant apie skaičius, kurių niekas neskelbia.

Duomenų centrai slepia savo numerius; Backblaze skelbia

3:46 Lighthouse Reports ir olandų laikraštis Trouw nustatė, kad didžioji dauguma Europos duomenų centrų laiko paslaptyje savo energijos ir vandens naudojimą, nors ES taisyklė reikalauja ataskaitų teikimo jau trejus metus. Nyderlanduose mažiau nei ketvirtadalis skelbia. Vienas Microsoft duomenų centras sunaudoja apie vieną procentą Nyderlandų elektros energijos. Tuo tarpu Backblaze vėl padarė nuobodų dalyką. Jo ketvirtiniai diskų statistikos duomenys apima maždaug tris šimtus penkiasdešimt tūkstančių kietųjų diskų, ir gedimų dažnis pakilo iki vieno taško septyniasdešimt trys procentų,

4:16 didžiausias per kurį laiką. Trys Seagate modeliai neturėjo jokių gedimų. Štai kaip atrodo viešoji bazinė linija, ketvirtį po ketvirčio, jau trylika metų.

Kreditų eilutė: Claude padėjo sukurti matuoklį

4:25 Dabar, ta kreditų eilutė. Readme faile pripažįstama, kad didelė dalis repozitorijos buvo parašyta padedant Claude, o tai yra modelis, kuris yra matuojamas. Taigi Claude padėjo sukurti matuoklį, kuris patikrina, ar Claude netapo kvailesnis. Štai kodėl vertintojai yra paprastos funkcijos. Autoriaus žodžiais tariant, neturėtumėte pasitikėti autoriumi, žmogaus ar kitokiu. Jei norėtumėte tai perskaityti, o ne išgirsti iš manęs, skirtumas ateina į jūsų pašto dėžutę

4:46 kiekvieną rytą, nemokamai daily diff dot dev, nuoroda žemiau. Taigi, šiandieninis verdiktas dėl live nerf.

Verdiktas: SHIP IT, ir nekoreguokite jo anksčiau nei spalio 24 d.

4:51 SHIP IT. Aš jį paleisčiau, nes tai pirmasis „nerf“ argumentas, kurį mačiau su laiko žyma, viešų taisyklių knyga ir nurodyta akla vieta. Tik nekoreguokite jo anksčiau nei spalio dvidešimt ketvirtąją. Ir tai šiandienos skirtumas. Aš esu Niko iš Axrisi. Sujungti atsakingai.

Šaltiniai

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com