+− THE DAILY DIFFdev & AI news
SHIP IT

Klodning nerfi qanday aniqlanadi (haqiqiy ma'lumotlar bilan)

Odamlar Klod har bir ishga tushirilgandan keyin bir necha hafta o'tgach, aqlsizroq bo'lib qoladi, deyishadi.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Odamlar Klod har bir ishga tushirilgandan keyin bir necha hafta o'tgach, aqlsizroq bo'lib qoladi, deyishadi. Bir dasturchi Klod Opus 5.5 ni ishga tushirish haftasidan boshlab 30 kunlik soatga qo'ydi, muzlatilgan savollar, Klod Kodu va ochiq qoidalar bilan, va bu hech kim avval bilmaganligini va nima uchun tokenlaringiz soni e'tibor berish kerakligini ko'rsatadi. Hukm: SHIP IT.

Yozma nashrini oʻqing (inglizcha) ↗

Bu video nimani qamrab oladi

  • Klod ishga tushirilgandan keyin aqlsizroq bo'ladi: nazariya nol kunga to'g'ri keladi
  • livenerf: Opus 5.5 ishga tushirish haftasidan boshlab 30 kunlik soat
  • Nerfni qanday tutish kerak: 78 ba'zan to'g'ri savollar
  • U nima ko'rishi mumkin: 7.5 ball, va tokenlar soni birinchi o'zgaradi
  • Ko'r nuqta: Opus 5 almashtirish va 8 ta noto'g'ri javob kalitlari

Savollar va javoblar

AI modeli ishga tushirilgandan so'ng, uning sifati yashirincha yomonlashganini qanday tekshirish mumkin?

Bir xil muzlatilgan savollarni belgilangan jadval bo'yicha yurgizing va ularni aniq mos kelish bilan baholang. livenerf repozitoriyasi Claude Opus 5.5 da 30 kunlik soatni kuniga bir marta, hech kim o'zgartira olmaydigan loglar bilan ishga tushiradi. U model ba'zan to'g'ri javob beradigan 78 ta savoldan foydalanadi, chunki u har doim to'g'ri javob beradigan savol pasaya olmaydi. U Claude Code versiyasini qotiradi, chunki o'zgartirilgan jabduq o'zgartirilgan modelga o'xshaydi.

Ushbu qismni tomosha qiling 1:24 · github.com · github.com

livenerf o'lchagichi qanday pasayish hajmini aniqlay oladi?

Har o'n kunlik oynada o'lchagich taxminan 7,5 balllik pasayishni ko'rishi mumkin. Qurilmaning ishlashini isbotlash uchun muallif Claude'ning harakatini ataylab pasaytirdi. Kam harakat chiqishni deyarli ikki uchdan bir qismga va ballni sakkiz ballga kamaytirdi. Eski Opus 5 ni jim o'zgartirish qurilma chaqirish uchun juda kichik o'zgarish edi va readme buni oldindan aytadi.

Ushbu qismni tomosha qiling 2:19 · github.com · github.com

AI agenti kamroq o'ylayotganini payqash uchun ishlab chiquvchilar nimani kuzatishi kerak?

Vazifa uchun tokenlar soni. livenerf testlarida kamroq fikrlash javoblarda paydo bo'lishidan oldin tokenlar sonida paydo bo'ldi. Epizod model versiyangizni qotirishni, vazifa bo'yicha chiqish tokenlarini yozib olishni va bir nechta o'zingizning muzlatilgan savollaringizni saqlashni taklif qiladi. Agar agentingiz to'satdan qisqaroq yozsa, avval loglaringizni tekshiring.

Ushbu qismni tomosha qiling 2:19 · github.com · news.ycombinator.com

Anthropic talab yuqori bo'lganda Claude sifatini pasaytiradi, deydimi?

Anthropic buni qilmaydi, deydi. Uning 2025 yil sentyabrdagi postmortemida aytilishicha, u talab, kunning vaqti yoki server yuklanishi tufayli model sifatini hech qachon pasaytirmaydi. Xuddi shu postda uchta xato Claude sifatini yomonlashtirganini va Claude Code foydalanuvchilarining deyarli uchdan biri kamida bir marta noto'g'ri serverlarga tushib qolganini tan oladi.

Ushbu qismni tomosha qiling 3:08 · www.anthropic.com

livenerf natijalariga Claude nerf ko'rsatishiga ishonish mumkinmi?

The Daily Diff'ning hukmi loyiha uchun SHIP IT edi, chunki bu vaqt belgisi, ommaviy qoidalar kitobi va e'lon qilingan ko'r nuqtaga ega bo'lgan birinchi nerf argumentidir. Epizod 24 oktyabrdan oldin uni iqtibos keltirmaslikni aytadi, chunki o'ttiz kundan olti kun o'tgan edi va birinchi mumkin bo'lgan qo'ng'iroq o'shanda keladi. Audit shuningdek, noto'g'ri ko'rinadigan 8 ta javob kalitini topdi.

Ushbu qismni tomosha qiling 4:50 · github.com · github.com · news.ycombinator.com

Tarjima qilingan transkript

Asl inglizcha hikoyadan tarjima qilingan. Mavjud audio va subtitrlar YouTube tomonidan boshqariladi.

Klod ishga tushirilgandan keyin aqlsizroq bo'ladi: nazariya nol kunga to'g'ri keladi

0:00 Hamma Klod ishga tushirilgandan keyin bir necha hafta o'tgach, aqlsizroq bo'lib qolishini biladi. Shunday qilib, bir dasturchi Opus besh nuqta beshni ishga tushirish haftasidan boshlab soatga qo'ydi, va soat aytadiki, hech kim buni hali bilmasligi mumkin edi. Ushbu videoda uchta savol. Nerfni qanday tutasiz? Bu hisoblagich nima ko'rishi mumkin? Va Anthropic nima deydi? Va repodagi kreditlar qatorlaridan biri meni qattiq kulgimni keltirdi.

0:20 Men oxirida bunga to'xtalaman. Bugun chorshanba, 30 sentyabr, va bu The Daily Diff. Bugun uchta hikoya, va eng kattasi live nerf deb nomlangan GitHub repo.

livenerf: Opus 5.5 ishga tushirish haftasidan boshlab 30 kunlik soat

0:30 Bir necha oydan beri odamlar Anthropic o'z modellarini ishga tushirilgandan keyin jimjitlik bilan nerf qiladi, deyishadi. Odatiy nazariyalar siqilgan model, bir xil nom ostidagi kichikroq model yoki shunchaki kamroq fikrlash. Repo har bir bahsni hozirgacha vibesga qarshi vibes deb ataydi. Opus besh nuqta besh yigirma ikkinchi sentyabrda chiqarildi, va bir hafta oldin men sizga u median modeldan uch baravar ko'p so'z yozgan holda mustaqil kengashni boshqarganini aytgan edim. Ikki yarim kundan keyin ninja hawk ismli dasturchi soatni ishga tushirdi, o'ttiz kun davomida kuniga bir marta, hech kim o'zgartira olmaydigan loglar bilan.

0:59 Hacker News sahifasi deyarli sakkiz yuz ballga yetdi va jamoaviy chat kabi bo'lindi. Bir izohlovchi aytadiki, nerfing modellari ko'pchilik holatlarda haqiqiy emas. Boshqasi aytadiki, odamlar shunchaki yangi intellekt darajasiga ko'nikishmoqda. Va bir Klod Kodu foydalanuvchisi endi har safar "ushbu sessiyani baholang" pop-upini rad etadi, chunki Klodni baholash uni yomonlashtiradigandek tuyuldi. Tengdoshlarni ko'rib chiqish. Demak, birinchi savol, nerfni qanday tutasiz? Siz yigirma uch yuzta qiyin imtihon savolidan boshlaysiz,

Nerfni qanday tutish kerak: 78 ba'zan to'g'ri savollar

1:27 va Opus birinchi urinishda to'qson uch foizini to'g'ri bajaradi, bu detektor uchun foydasiz, chunki u har doim to'g'ri javob beradigan savol tushib keta olmaydi. To'qson yetti foizi har doim to'g'ri yoki har doim noto'g'ri edi, va u faqat ba'zan to'g'ri javob beradigan yetmish sakkiztasi panel bo'ldi. Bir xil so'rov, vositalarsiz, va AI sudyasisiz aniq mos keladigan baholash, chunki sudya ham siljishi mumkin edi. U Max obunasi orqali headless Klod Kodu orqali ishlaydi, chunki API versiyasi oyiga taxminan o'n olti yuz dollar narxda edi.

1:55 Va Klod Kodu versiyasi qotirilgan, chunki, repodagi so'zlar bilan aytganda, o'zgargan uskuna o'zgargan modelga o'xshaydi. Statistikalar Anthropicdan Evan Millerning "Evalsga xato chiziqlarini qo'shish" deb nomlangan maqolasidan olingan. Shunday qilib, Anthropicning o'z matematikasi endi Anthropicni tekshirmoqda, bu akademik versiyaning mijozlar qo'llab-quvvatlash xizmatiga xizmat ko'rsatish shartlarini qayta iqtibos keltirishidir. Ikkinchi savol, u nima ko'rishi mumkin? O'n kunlik oynaga ko'ra, taxminan yetti yarim ball pasayish.

U nima ko'rishi mumkin: 7.5 ball, va tokenlar soni birinchi o'zgaradi

2:19 Qurilma ishlayotganini isbotlash uchun muallif Klodning harakatini ataylab kamaytirdi. O'rtacha harakat chiqishni chorak qismga, va ballni atigi to'rt ballga kamaytirdi. Kam harakat chiqishni deyarli ikki uchdan biriga kamaytirdi, sakkiz ballga. Mana o'g'irlash kerak bo'lgan qism. Kamroq fikrlash javoblarda paydo bo'lishidan oldin tokenlar sonida paydo bo'ladi. Shunday qilib, model versiyangizni qotiring, har bir vazifa uchun chiqish tokenlarini yozing, va o'zingizning bir nechta muzlatilgan savollaringizni saqlang.

2:43 Agar agentingiz birdaniga qisqaroq yozsa, Redditni tekshirishdan oldin loglaringizni tekshiring. Va mana halol qismi. Eski Opus beshni jimjitlik bilan almashtirish qurilma chaqirishi uchun juda kichik o'zgarish edi, va readme buni oldindan aytadi.

Ko'r nuqta: Opus 5 almashtirish va 8 ta noto'g'ri javob kalitlari

2:54 Audit shuningdek, noto'g'ri ko'rinadigan sakkizta javob kalitini topdi, shuning uchun nerf detektori nerf topishdan oldin benchmarkda xatolar topdi. Uchinchi savol, Anthropic nima deydi? O'tgan yili, shikoyatlar to'lqinidan so'ng, Anthropic postmortem nashr etdi.

Anthropic: biz hech qachon model sifatini pasaytirmaymiz

3:08 U aytadiki, biz hech qachon model sifatini talabga bog'liq ravishda pasaytirmaymiz, kun vaqtiga yoki server yukiga qarab. Xuddi shu post uchta xato Klodni buzganini tan oladi, va Klod Kodu foydalanuvchilarining deyarli uchdan biri kamida bir marta noto'g'ri serverlarga tushgan. Demak, shikoyatlar haqiqiy edi va sabab xatoliklar edi, shuning uchun repo ishga tushirish haftasi eng yomon hafta bo'lishi mumkinligini ogohlantiradi. O'ttiz kundan oltitasi o'tdi. Birinchi mumkin bo'lgan chaqiriq yigirma to'rtinchi oktyabr atrofida tushadi,

3:35 shuning uchun halol javob shundaki, hech kim bilmaydi, shu jumladan ishonch hosil qilgan hamma ham. Hech kim nashr etmaydigan raqamlar haqida gapirganda. Lighthouse Reports va Gollandiya gazetasi Trouw topdiki, Evropa ma'lumot markazlarining katta qismi o'z energiya va suv sarfini sir saqlaydi,

Ma'lumot markazlari o'z raqamlarini sir saqlaydi; Backblaze nashr etadi

3:46 garchi Evropa Ittifoqi qoidasi uch yildan beri hisobot berishni talab qilsa ham. Niderlandiyada chorakdan kami nashr etadi. Bir Microsoft ma'lumot markazi yolg'iz Gollandiya elektr energiyasining taxminan bir foizini ishlatadi. Shu bilan birga, Backblaze yana zerikarli ishni qildi. Uning choraklik drayv statistikasi taxminan uch yuz ellik ming qattiq diskni qamrab oladi, va nosozlik darajasi bir nuqta yetti uch foizga ko'tarildi, bir muncha vaqtdan beri eng yuqorisi. Uchta Seagate modeli nosozliklarga ega emas edi.

4:16 Mana bu ochiq baza qanday ko'rinishga ega, chorakdan chorakka, o'n uch yil davomida. Endi, o'sha kreditlar qatori. Readme repodagi ko'p narsalar Klod yordamida yozilganligini tan oladi,

Kreditlar qatori: Klod hisoblagichni qurishga yordam berdi

4:25 bu o'lchanayotgan modeldir. Shunday qilib, Klod Klod aqlsizroq bo'ldimi yoki yo'qmi tekshiradigan hisoblagichni qurishga yordam berdi. Shuning uchun baholovchilar oddiy funksiyalardir. Muallifning so'zlari bilan aytganda, siz muallifga ishonishingiz shart emas, inson yoki boshqa tarzda. Agar siz buni mening aytganimdan ko'ra o'qishni afzal ko'rsangiz, diff har kuni ertalab pochta qutingizga tushadi, kundalik diff.dev saytida bepul, havolasi pastda. Demak, bugungi live nerf bo'yicha hukm.

4:46 SHIP IT. Men uni jo'natardim, chunki bu men ko'rgan birinchi nerf bahsi bo'lib, unda vaqt belgisi, ochiq qoidalar kitobi va ko'rsatilgan ko'r nuqta bor.

Hukm: SHIP IT, va uni 24 oktyabrdan oldin iqtibos keltirmang

4:51 Faqat uni yigirma to'rtinchi oktyabrdan oldin iqtibos keltirmang. Va bugungi farq shu. Men Axrisidan Nikonman. Mas'uliyat bilan birlashtiring. Hech qanday qo'shimcha matn, ko'rsatma yoki markdown to'siqlari yo'q. Faqat bir dona JSON chiqishi kerak.

Manbalar

  1. livenerfgithub.com
  2. Validationgithub.com
  3. Hacker Newsnews.ycombinator.com
  4. Anthropic postmortem (Sep 2025)www.anthropic.com
  5. Adding Error Bars to Evals (Evan Miller)arxiv.org
  6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
  7. NL Timesnltimes.nl
  8. Hacker Newsnews.ycombinator.com
  9. Backblaze Drive Stats Q2 2026www.backblaze.com
  10. Hacker Newsnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Tegishli videolar