Paano makita ang paghina ng Claude (na may totoong datos)
Sabi ng mga tao, bumababa ang galing ni Claude pagkaraan ng ilang linggo sa bawat paglunsad.
Sabi ng mga tao, bumababa ang galing ni Claude pagkaraan ng ilang linggo sa bawat paglunsad. Isang developer ang naglagay ng Claude Opus 5.5 sa isang 30-araw na orasan mula sa linggo ng paglunsad, na may mga nakapirming tanong, nakapirming Claude Code at pampublikong patakaran, at ipinapakita nito kung bakit walang nakakaalam dati, at kung bakit ang iyong token count ang dapat bantayan. Pasya: SHIP IT.
Basahin ang nakasulat na edisyon (English) ↗
Ang sakop ng video na ito
- Bumababa ang galing ni Claude pagkaraan ng paglunsad: ang teorya ay sumasalamin sa isang day-zero na orasan
- livenerf: isang 30-araw na orasan sa Opus 5.5 mula sa linggo ng paglunsad
- Paano makita ang paghina: 78 tanong na kung minsan ay tama
- Ano ang nakikita nito: 7.5 puntos, at ang bilang ng token ay unang gumagalaw
- Ang blind spot: isang Opus 5 swap at 8 maling susi sa sagot
Mga tanong at sagot
Paano mo masusubukan kung ang isang modelo ng AI ay tahimik na pinasama pagkatapos ilunsad?
Patakbuhin ang parehong "frozen" na tanong sa isang takdang oras at markahan ang mga ito nang may eksaktong tugma. Ang livenerf repo ay nagpapatakbo ng 30-araw na orasan sa Claude Opus 5.5, isang beses sa isang araw, na may mga log na walang sinuman ang makapag-e-edit. Gumagamit ito ng 78 na tanong na kung minsan lamang nasasagot ng tama ng modelo, dahil ang isang tanong na palagi nitong sinasagot nang tama ay hindi bumababa. Pinipili nito ang bersyon ng Claude Code, dahil ang isang nabagong "harness" ay tila isang nabagong modelo.
Anong sukat ng pagbaba ang kayang matukoy ng livenerf meter?
Sa bawat sampung-araw na bintana, ang metro ay makakakita ng pagbaba ng humigit-kumulang 7.5 puntos. Upang patunayan na gumagana ang rig, sadyang binaba ng may-akda ang pagsisikap ni Claude. Ang mababang pagsisikap ay nagpababa ng output ng halos dalawang-katlo at ang marka ng walong puntos. Ang tahimik na pagpapalit sa mas lumang Opus 5 ay napakaliit na pagbabago para matukoy ng rig, at nakasaad iyon sa readme.
Ano ang dapat subaybayan ng mga developer upang mapansin kung ang isang AI agent ay mas kaunti ang iniisip?
Bilang ng token ng output bawat gawain. Sa mga pagsusuri ng livenerf, ang mas kaunting pag-iisip ay lumabas sa bilang ng token bago ito lumabas sa mga sagot. Ang episode ay nagmumungkahi na i-pin ang iyong bersyon ng modelo, i-log ang mga output token bawat gawain, at panatilihin ang ilang frozen na tanong mo mismo. Kung biglang bumaba ang bilang ng mga salita na isinusulat ng iyong agent, suriin muna ang iyong mga log.
Sinasabi ba ng Anthropic na binabawasan nito ang kalidad ng Claude kapag mataas ang demand?
Sinasabi ng Anthropic na hindi. Sinasabi ng postmortem nito mula Setyembre 2025 na hindi nito kailanman binabawasan ang kalidad ng modelo dahil sa demand, oras ng araw o server load. Ang parehong post ay umamin na tatlong bug ang nagpababa sa Claude, at halos isang-katlo ng mga gumagamit ng Claude Code ang nag-hit ng maling server kahit isang beses.
Mapagkakatiwalaan ba ang mga resulta ng livenerf upang ipakita ang nerf ni Claude?
Ang desisyon ng The Daily Diff ay SHIP IT para sa proyekto, dahil ito ang unang argumento ng nerf na may timestamp, isang pampublikong rulebook at isang nakasaad na blind spot. Sinasabi ng episode na huwag itong sipiin bago ang Oktubre 24, dahil anim lamang sa tatlumpung araw ang nakalipas at ang unang posibleng tawag ay darating noon. Natuklasan din ng audit ang 8 answer key na tila mali.
Isinaling transcript
Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.
Bumababa ang galing ni Claude pagkaraan ng paglunsad: ang teorya ay sumasalamin sa isang day-zero na orasan
0:00 Alam ng lahat na bumababa ang galing ni Claude ilang linggo pagkatapos ng paglunsad. Kaya isang developer ang naglagay ng Opus 5.5 sa isang orasan mula sa linggo ng paglunsad, at sinasabi ng orasan na walang nakakaalam pa. Sa video na ito, tatlong tanong. Paano mo mahuhuli ang paghina? Ano ang nakikita ng metrong ito? At ano ang sinasabi ng Anthropic? At isang linya sa mga kredito ng repo ang nagpatawa sa akin.
0:20 Babanggitin ko iyon sa huli. Miyerkules ngayon, Setyembre 30, at ito ang The Daily Diff. Tatlong kwento ngayon, at ang malaki ay isang GitHub repo na tinatawag na live nerf.
livenerf: isang 30-araw na orasan sa Opus 5.5 mula sa linggo ng paglunsad
0:30 Sa loob ng maraming buwan, sinasabi ng mga tao na tahimik na pinapahina ng Anthropic ang mga modelo nito pagkatapos ng paglunsad. Ang karaniwang mga teorya ay isang piniga na modelo, isang mas maliit na modelo sa ilalim ng parehong pangalan o simpleng mas kaunting pag-iisip. Tinatawag ng repo ang bawat argumento sa ngayon na vibes kumpara sa vibes. Ang Opus 5.5 ay inilabas noong Setyembre 22, at isang linggo na ang nakakaraan sinabi ko sa iyo na ito ang nanguna sa independent board habang nagsusulat ng tatlong beses na mas maraming salita kaysa sa median model. Dalawa at kalahating araw pa lang, isang developer na tinatawag na ninja hawk ang nagsimula ng orasan,
0:59 isang beses sa isang araw sa loob ng 30 araw, na may mga log na walang maaaring mag-edit. Ang Hacker News thread ay umabot sa halos 800 puntos at nahati tulad ng isang team chat. Isang komentarista ang nagsasabing ang pagpapahina ng mga modelo ay hindi totoo sa karamihan ng iniulat na mga kaso. Ang isa pa ay nagsasabing nasasanay lamang ang mga tao sa bagong antas ng intelligence. At isang power user ng Claude Code ngayon ay binabalewala ang pop-up na 'rate-this-session' sa bawat pagkakataon, dahil ang pag-rate kay Claude ay tila nagpapalala nito. Peer review. Kaya, tanong isa, paano mo mahuhuli ang paghina?
Paano makita ang paghina: 78 tanong na kung minsan ay tama
1:27 Nagsisimula ka sa halos 2300 mahihirap na tanong sa pagsusulit, at 93 porsiyento ng Opus ang tama sa unang subok, na walang silbi para sa isang detector, dahil ang isang tanong na palaging tama ay hindi bumababa. 97 porsiyento ay palaging tama o palaging mali, at ang 78 na kung minsan lang tama ang naging panel. Parehong prompt, walang tools, at exact-match grading na walang AI judge, dahil ang judge ay liliko din. Tumatakbo ito sa isang Max na subscription sa pamamagitan ng headless Claude Code,
1:55 dahil ang API version ay nagkakahalaga ng humigit-kumulang 1600 dolyares sa isang buwan. At ang Claude Code version ay nakapako, dahil, sa mga salita ng repo, ang isang nabagong harness ay mukhang eksakto tulad ng isang nabagong modelo. Ang mga istatistika ay nagmula sa isang papel na tinatawag na 'Adding Error Bars to Evals', ni Evan Miller sa Anthropic. Kaya ang sariling matematika ng Anthropic ngayon ay nag-o-audit sa Anthropic, na siyang akademikong bersyon ng pagsipi ng mga tuntunin ng serbisyo pabalik sa customer support.
Ano ang nakikita nito: 7.5 puntos, at ang bilang ng token ay unang gumagalaw
2:19 Tanong dalawa, ano ang nakikita nito? Bawat 10-araw na bintana, isang pagbaba ng humigit-kumulang 7.5 puntos. Upang patunayan na gumagana ang rig, sadyang binawasan ng may-akda ang pagsisikap ni Claude. Ang medium effort ay nagbawas ng output ng halos isang-kapat, at ang score ng apat na puntos lamang. Ang low effort ay nagbawas ng output ng halos dalawang-katlo, para sa walong puntos. Iyan ang parte na dapat kopyahin. Ang mas kaunting pag-iisip ay lumalabas sa bilang ng token bago ito lumabas sa mga sagot.
2:43 Kaya i-pin ang iyong bersyon ng modelo, i-log ang mga output token bawat gawain, at panatilihin ang ilang nakapirming tanong mo. Kung ang iyong ahente ay biglang nagsusulat ng mas maikli, tingnan ang iyong mga log bago mo tingnan ang Reddit. At heto ang matapat na bahagi.
Ang blind spot: isang Opus 5 swap at 8 maling susi sa sagot
2:54 Ang tahimik na pagpapalit ng mas lumang Opus 5 ay napakaliit na pagbabago para tawagin ng rig, at sinasabi ito agad sa readme. Nakakita din ang audit ng walong susi sa sagot na mukhang mali, kaya ang nerf detector ay nakakita ng mga bug sa benchmark bago ito nakakita ng nerf.
Anthropic: hindi namin binabawasan ang kalidad ng modelo
3:08 Tanong tatlo, ano ang sinasabi ng Anthropic? Noong nakaraang taon, pagkatapos ng sunod-sunod na reklamo, naglathala ang Anthropic ng isang postmortem. Sinasabi nito, quote, hindi namin binabawasan ang kalidad ng modelo dahil sa demand, oras ng araw o load ng server. Inamin ng parehong post na tatlong bug ang nagpababa kay Claude, at halos isang-katlo ng mga gumagamit ng Claude Code ang nakaranas ng maling server kahit minsan. Kaya ang mga reklamo ay totoo at ang sanhi ay mga bug, kaya ang repo ay nagbabala na ang linggo ng paglunsad ay maaaring ang pinakamalalang linggo.
3:35 Anim sa 30 araw ay tapos na. Ang unang posibleng tawag ay darating sa paligid ng Oktubre 24, kaya ang tapat na sagot ay walang nakakaalam, kasama ang lahat ng sigurado. Nabanggit ang mga numerong walang naglalathala.
Lihim ang mga bilang ng data center; naglalathala ang Backblaze
3:46 Natuklasan ng Lighthouse Reports at ng pahayagang Olandes na Trouw na ang karamihan ng mga data center sa Europa ay itinatago ang kanilang paggamit ng kuryente at tubig, bagama't isang panuntunan ng EU ang nag-atas ng pag-uulat sa loob ng tatlong taon. Sa Netherlands, mas mababa sa isang-kapat ang naglalathala. Isang data center ng Microsoft lang ang gumagamit ng halos isang porsiyento ng kuryente ng Netherlands. Samantala, ginawa ulit ng Backblaze ang nakababagot na bagay. Sinasaklaw ng quarterly drive stats nito ang humigit-kumulang 350,000 hard drive, at ang rate ng pagkabigo ay tumaas sa 1.73 porsiyento,
4:16 ang pinakamataas sa ilang panahon. Tatlong modelo ng Seagate ang walang pagkabigo. Ganyan ang hitsura ng isang pampublikong baseline, quarter after quarter, sa loob ng 13 taon.
Ang linya ng mga kredito: Tumulong si Claude na buuin ang metro
4:25 Ngayon, ang linya ng mga kredito na iyon. Inamin ng readme na marami sa repo ay isinulat sa tulong ni Claude, na siyang modelo na sinusukat. Kaya tumulong si Claude na buuin ang metro na nagsusuri kung bumaba ang galing ni Claude. Kaya ang mga grader ay simpleng function. Sa mga salita ng may-akda, hindi mo dapat pagkatiwalaan ang may-akda, tao man o iba pa. Kung mas gusto mong basahin ito kaysa pakinggan akong sabihin ito, ang diff ay dumarating sa iyong inbox
4:46 tuwing umaga, libre sa the daily diff dot dev, link sa ibaba. Kaya, ang pasya ngayon sa live nerf.
Pasya: SHIP IT, at huwag itong sipiin bago ang Oktubre 24
4:51 SHIP IT. Ipapares ko ito dahil ito ang unang argumento ng nerf na nakita ko na may timestamp, isang pampublikong rulebook at isang nakasaad na blind spot. Huwag lang itong sipiin bago ang Oktubre 24. At iyan ang diff para ngayon. Ako si Niko mula sa Axrisi. Pagsamahin nang responsable.
Mga Pinagmulan
- livenerfgithub.com
- Validationgithub.com
- Hacker Newsnews.ycombinator.com
- Anthropic postmortem (Sep 2025)www.anthropic.com
- Adding Error Bars to Evals (Evan Miller)arxiv.org
- Inspect (UK AI Security Institute)inspect.aisi.org.uk
- NL Timesnltimes.nl
- Hacker Newsnews.ycombinator.com
- Backblaze Drive Stats Q2 2026www.backblaze.com
- Hacker Newsnews.ycombinator.com



