+− THE DAILY DIFFdev & AI news
SHIP IT

Claude'дун начарлаганын кантип аныктоого болот (реалдуу маалыматтар менен)

Айрымдар Claude ар бир ишке киргизилгенден кийин бир нече жумадан соң начарлайт дешет.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Айрымдар Claude ар бир ишке киргизилгенден кийин бир нече жумадан соң начарлайт дешет. Бир иштеп чыгуучу Claude Opus 5.5ти ишке киргизүү жумасынан баштап 30 күндүк саатка койду, тоңдурулган суроолор, кадалып коюлган Claude Code жана коомдук эрежелер менен, жана ал эмне үчүн буга чейин эч ким биле албаганын, ошондой эле токендериңиздин саны көңүл бурууга татыктуу нерсе экенин көрсөтөт. Өкүм: SHIP IT.

Жазма басылышын окуу (Англисче) ↗

Бул видео эмнелерди камтыйт

  • Claude ишке киргизилгенден кийин начарлайт: теория нөл-күндүк саатка туш келди
  • livenerf: Opus 5.5тин ишке киргизилген жумасынан баштап 30 күндүк сааты
  • Начарлоону кантип кармоо керек: кээде туура келген 78 суроо
  • Ал эмнени көрө алат: 7.5 упай, жана токендердин саны биринчи орунда
  • Сокур так: Opus 5 алмаштыруу жана 8 туура эмес жооп ачкычы

Суроолор жана жооптор

Жасалма интеллект модели ишке киргизилгенден кийин акырын начарлап кеткендигин кантип текшерүүгө болот?

Ошол эле "тоңдурулган" суроолорду белгиленген график боюнча иштетип, аларды так дал келүү менен баалаңыз. livenerf репосу Claude Opus 5.5 үстүндө 30 күндүк саатты, күнүнө бир жолу, эч ким түзөтө албаган журналдар менен иштетет. Ал модел кээде гана туура жооп берген 78 суроону колдонот, анткени ал ар дайым туура жооп берген суроо төмөндөшү мүмкүн эмес. Ал Claude Code версиясын бекитет, анткени өзгөртүлгөн "тутка" өзгөртүлгөн модел сыяктуу көрүнөт.

Бул бөлүктү көрүү 1:24 · github.com · github.com

livenerf эсептегичи канчалык төмөндөөнү аныктай алат?

Он күндүк терезе үчүн, эсептегич болжол менен 7,5 пунктка төмөндөөнү көрө алат. Жабдуунун иштегендигин далилдөө үчүн, автор атайылап Claude'тун аракетин азайткан. Аз аракет чыгарууну дээрлик үчтөн экиге, ал эми упайды сегиз пунктка кыскарткан. Эски Opus 5ти тымызын алмаштыруу жабдуу чакыра алгыдай өтө кичинекей өзгөрүү болгон, жана README муну алдын ала айтып турат.

Бул бөлүктү көрүү 2:19 · github.com · github.com

Жасалма интеллект агенти аз ойлонуп жатса, иштеп чыгуучулар эмнени көзөмөлдөшү керек?

Тапшырма боюнча токендердин саны. livenerf тесттеринде, аз ойлонуу жооптордо көрүнгөнгө чейин токендердин санында байкалган. Эпизод сиздин моделдин версиясын бекитүүнү, тапшырма боюнча чыгаруу токендерин жазууну жана өзүңүздүн бир нече "тоңдурулган" суроолоруңузду сактоону сунуштайт. Эгерде сиздин агент күтүлбөгөн жерден кыскараак жазса, адегенде журналдарыңызды текшериңиз.

Бул бөлүктү көрүү 2:19 · github.com · news.ycombinator.com

Anthropic талап жогору болгондо Claude'тун сапатын төмөндөтөөрүн айтабы?

Anthropic андай кылбайт дейт. Анын 2025-жылдын сентябрындагы постмортеми талаптан, күндүн убактысынан же сервердин жүктөмүнөн улам моделдин сапатын эч качан төмөндөтпөй турганын айтат. Ошол эле пост үч ката Claude'ду начарлатканын жана Claude Code колдонуучуларынын дээрлик үчтөн бири туура эмес серверлерге жок дегенде бир жолу туш болгонун моюнга алат.

Бул бөлүктү көрүү 3:08 · www.anthropic.com

livenerf натыйжаларына Claude'дун нерфин көрсөтүү үчүн азырынча ишенүүгө болобу?

The Daily Diff долбоор үчүн SHIP IT деген чечим чыгарган, анткени бул убакыт белгиси, ачык эрежелер китеби жана айтылган сокур жери бар биринчи нерф аргументи. Эпизод 24-октябрга чейин цитата кылбоону айтат, анткени отуз күндүн алтысы гана өткөн жана биринчи мүмкүн болгон чакырык ошондо болот. Аудит ошондой эле туура эмес көрүнгөн 8 жооп ачкычын тапты.

Бул бөлүктү көрүү 4:50 · github.com · github.com · news.ycombinator.com

Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

Claude ишке киргизилгенден кийин начарлайт: теория нөл-күндүк саатка туш келди

0:00 Claude ишке киргизилгенден кийин бир нече жумадан кийин начарлайт экенин баары билет. Ошентип, бир иштеп чыгуучу Opus беш чекит бешти ишке киргизүү жумасынан баштап саатка койду, жана саат эч ким биле албаганын айтат. Бул видеодо үч суроо. Начарлоону кантип кармайсыз? Бул эсептегич эмнени көрө алат? Жана Anthropic эмне дейт? Жана репозиторийдин кредиттериндеги бир сап мени каткырып күлдүрдү.

0:20 Мен ага аягында жетем. Бүгүн шаршемби, отуз сентябрь, жана бул The Daily Diff. Бүгүн үч окуя, жана чоңу live nerf деп аталган GitHub репозиторийи.

livenerf: Opus 5.5тин ишке киргизилген жумасынан баштап 30 күндүк сааты

0:30 Бир нече айдан бери адамдар Anthropic ишке киргизилгенден кийин моделдерин тымызын начарлатат деп айтып келишет. Адаттагы теориялар кысылган модель, ошол эле аталыштагы кичинекей модель же жөн эле аз ойлонуу. Репозиторий буга чейинки ар бир аргументти "вайбдарга каршы вайбдар" деп атайт. Opus беш чекит беш жыйырма экинчи сентябрда жеткирилген, жана бир жума мурун мен сизге ал медианалык моделге караганда үч эсе көп сөз жазып, көз карандысыз тактаны ээледи деп айткам. эсе көп сөз жазган. Эки жарым күндөн кийин, ninja hawk аттуу иштеп чыгуучу саатты ишке киргизди,

0:59 отуз күн бою күнүнө бир жолу, эч ким өзгөртө албаган логдор менен. The Hacker News жиби дээрлик сегиз жүз упайга жетип, командалык чат сыяктуу бөлүндү. Бир комментатор айтылган учурлардын басымдуу көпчүлүгүндө моделдерди начарлатуу реалдуу эмес дейт. Башкасы адамдар жөн эле жаңы интеллект деңгээлине көнүп жатышат дейт. Жана бир Claude Code кубаттуу колдонуучусу азыр ар дайым "бул сессияны баалаңыз" калкыма терезесин четке кагат, анткени Claude'ду баалоо аны начарлаткан окшойт. Теңтуштардын кароосу. Ошентип, биринчи суроо, начарлоону кантип кармайсыз?

Начарлоону кантип кармоо керек: кээде туура келген 78 суроо

1:27 Сиз жыйырма үч жүздөй татаал экзамен суроолорунан баштайсыз, жана Opus биринчи аракетте токсон үч пайызын туура табат, бул детектор үчүн жараксыз, анткени ал ар дайым туура тапкан суроо түшө албайт. Токсон жети пайызы ар дайым туура же ар дайым туура эмес болгон, жана ал кээде гана туура тапкан жетимиш сегиз суроо панель болду. Ошол эле суроо, куралдар жок, жана AI сотсуз так дал келген баалоо, анткени сот дагы өзгөрмөк. Ал Max жазылуусунда башсыз Claude Code аркылуу иштейт,

1:55 анткени API версиясынын баасы айына болжол менен он алты жүз доллар болгон. Жана Claude Code версиясы кадалып турат, анткени, репозиторийдин айтымында, өзгөртүлгөн жабдык өзгөртүлгөн моделге так окшош. Статистика "Evals'га Ката Тилкелерин Кошуу" деп аталган макаладан алынган, Anthropic компаниясынан Эван Миллер тарабынан. Ошентип, Anthropic'тин өз математикасы азыр Anthropic'ти аудиттеп жатат, бул академиялык версия кызмат көрсөтүү шарттарын кардарларды колдоо кызматына кайра цитаталоо.

Ал эмнени көрө алат: 7.5 упай, жана токендердин саны биринчи орунда

2:19 Экинчи суроо, ал эмнени көрө алат? Он күндүк терезеге салыштырмалуу, болжол менен жети жарым упайга төмөндөө. Жабдыктын иштешин далилдөө үчүн, автор Claude'дун аракетин атайылап төмөндөттү. Орточо аракет чыгарууну болжол менен төрттөн бирге кыскартты, жана упайды төрт гана упайга. Төмөн аракет чыгарууну дээрлик үчтөн экиге кыскартты, сегиз упай үчүн. Бул уурдап кете турган бөлүгү. Аз ойлонуу токендердин санында жооптордо пайда болгонго чейин пайда болот.

2:43 Ошентип, моделиңиздин версиясын кадап коюңуз, тапшырма боюнча чыгаруу токендерин жазыңыз, жана өзүңүздүн бир нече тоңдурулган суроолоруңузду сактаңыз. Эгер сиздин агентиңиз күтүлбөгөн жерден кыскараак жазса, Reddit'ти текшерүүдөн мурун логдоруңузду текшериңиз. Жана бул чынчыл бөлүгү.

Сокур так: Opus 5 алмаштыруу жана 8 туура эмес жооп ачкычы

2:54 Эски Opus бешти тымызын алмаштыруу жабдык чакыруу үчүн өтө кичинекей өзгөрүү болгон, жана readme алдын ала ошентип айтат. Аудит ошондой эле туура эмес көрүнгөн сегиз жооп ачкычын тапты, ошентип начарлоо детектору начарлоону тапканга чейин эталондогу мүчүлүштүктөрдү тапты.

Anthropic: биз модель сапатын эч качан төмөндөтпөйбүз

3:08 Үчүнчү суроо, Anthropic эмне дейт? Өткөн жылы, даттануулар толкунунан кийин, Anthropic постмортем жарыялады. Ал мындай дейт: "биз эч качан модель сапатын талапка байланыштуу төмөндөтпөйбүз, күндүн убактысына же сервердин жүгүнө карабастан." Ошол эле пост үч мүчүлүштүк Claude'ду начарлатканын, жана Claude Code колдонуучуларынын дээрлик үчтөн бири туура эмес серверлерге жок дегенде бир жолу туш болгонун моюнга алат. Ошентип, даттануулар реалдуу болгон жана себеби мүчүлүштүктөр болгон, ошондуктан репозиторий ишке киргизүү жумасы эң жаман жума болушу мүмкүн деп эскертет.

3:35 Отуз күндүн алтоо өттү. Биринчи мүмкүн болгон чакыруу жыйырма төртүнчү октябрь тегерегинде болот, ошондуктан чынчыл жооп, эч ким билбейт, анын ичинде ишенгендердин баары. Эч ким жарыялабаган сандар жөнүндө айтсак.

Маалымат борборлору өз сандарын жашыруун кармашат; Backblaze жарыялайт

3:46 Lighthouse Reports жана голландиялык Trouw гезити Европанын маалымат борборлорунун басымдуу көпчүлүгү өз энергия жана суу колдонуусун жашыруун кармаарын аныкташты, ЕБ эрежеси үч жылдан бери отчет берүүнү талап кылса дагы. Нидерландыда, төрттөн биринен азыраагы жарыялайт. Бир Microsoft маалымат борбору эле Голландиянын электр энергиясынын болжол менен бир пайызын колдонот. Ошол эле учурда, Backblaze кайрадан зериктирүүчү нерсени кылды. Анын кварталдык диск статистикасы болжол менен үч жүз элүү миң катуу дискти камтыйт, жана ката курсу бир чекит жетимиш үч пайызга жогорулады,

4:16 бир топ убакыттан берки эң жогорку көрсөткүч. Үч Seagate моделинде нөл ката болгон. Мына, он үч жылдан бери квартал сайын коомдук базалык линия ушундай көрүнөт. он үч жыл бою.

Кредиттер сабы: Claude эсептегичти курууга жардам берген

4:25 Эми, ошол кредиттер сабы. Readme репозиторийдин көп бөлүгү Claude'дун жардамы менен жазылганын моюнга алат, бул ченелип жаткан модель. Ошентип, Claude Claude начарлаганын текшерүүчү эсептегичти курууга жардам берген. Ошондуктан баалоочулар жөнөкөй функциялар. Автордун сөзү менен айтканда, сиз авторго ишенүүнүн кереги жок, адамга же башкага. Эгер сиз муну мен айткандан көрө окуганды кааласаңыз, дифф ар күнү эртең менен сиздин почтаңызга келет,

4:46 акысыз the daily diff dot dev дарегинде, шилтеме төмөндө. Ошентип, live nerf боюнча бүгүнкү өкүм.

Өкүм: SHIP IT, жана 24-октябрга чейин цитата кылбаңыз

4:51 SHIP IT. Мен аны жеткирмекмин, анткени бул мен көргөн биринчи начарлоо аргументи, убакыт белгиси, коомдук эрежелер китеби жана айтылган сокур так бар. Жөн эле жыйырма төртүнчү октябрга чейин цитата кылбаңыз. Жана бүгүнкү дифф ушул. Мен Axrisi'ден Нико. Жоопкерчиликтүү түрдө бириктириңиз.

Булактар

  1. livenerfgithub.com
  2. Validationgithub.com
  3. Hacker Newsnews.ycombinator.com
  4. Anthropic postmortem (Sep 2025)www.anthropic.com
  5. Adding Error Bars to Evals (Evan Miller)arxiv.org
  6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
  7. NL Timesnltimes.nl
  8. Hacker Newsnews.ycombinator.com
  9. Backblaze Drive Stats Q2 2026www.backblaze.com
  10. Hacker Newsnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Окшош видеолор

daily · ky · 2026-ж., 6-ноя.

Claude Code колдонуучулардын электрондук почталарын байланыш дареги катары веб-сайттарга жөнөткөн

Claude Code кирген аккаунттун электрондук почта дарегин моделдин контекстине кошкон жана агент кээде бул даректи Wikipedia жана SEC сыяктуу сценарийлерден байланыш сураган сайттар үчүн жазган curl сур

5:08 ↗