Klodning nerfi qanday aniqlanadi (haqiqiy ma'lumotlar bilan)

Bu video nimani qamrab oladi

• Klod ishga tushirilgandan keyin aqlsizroq bo'ladi: nazariya nol kunga to'g'ri keladi
• livenerf: Opus 5.5 ishga tushirish haftasidan boshlab 30 kunlik soat
• Nerfni qanday tutish kerak: 78 ba'zan to'g'ri savollar
• U nima ko'rishi mumkin: 7.5 ball, va tokenlar soni birinchi o'zgaradi
• Ko'r nuqta: Opus 5 almashtirish va 8 ta noto'g'ri javob kalitlari

Tarjima qilingan transkript

Asl inglizcha hikoyadan tarjima qilingan. Mavjud audio va subtitrlar YouTube tomonidan boshqariladi.

Klod ishga tushirilgandan keyin aqlsizroq bo'ladi: nazariya nol kunga to'g'ri keladi

0:00 Hamma Klod ishga tushirilgandan keyin bir necha hafta o'tgach, aqlsizroq bo'lib qolishini biladi. Shunday qilib, bir dasturchi Opus besh nuqta beshni ishga tushirish haftasidan boshlab soatga qo'ydi, va soat aytadiki, hech kim buni hali bilmasligi mumkin edi. Ushbu videoda uchta savol. Nerfni qanday tutasiz? Bu hisoblagich nima ko'rishi mumkin? Va Anthropic nima deydi? Va repodagi kreditlar qatorlaridan biri meni qattiq kulgimni keltirdi.

0:20 Men oxirida bunga to'xtalaman. Bugun chorshanba, 30 sentyabr, va bu The Daily Diff. Bugun uchta hikoya, va eng kattasi live nerf deb nomlangan GitHub repo.

livenerf: Opus 5.5 ishga tushirish haftasidan boshlab 30 kunlik soat

0:30 Bir necha oydan beri odamlar Anthropic o'z modellarini ishga tushirilgandan keyin jimjitlik bilan nerf qiladi, deyishadi. Odatiy nazariyalar siqilgan model, bir xil nom ostidagi kichikroq model yoki shunchaki kamroq fikrlash. Repo har bir bahsni hozirgacha vibesga qarshi vibes deb ataydi. Opus besh nuqta besh yigirma ikkinchi sentyabrda chiqarildi, va bir hafta oldin men sizga u median modeldan uch baravar ko'p so'z yozgan holda mustaqil kengashni boshqarganini aytgan edim. Ikki yarim kundan keyin ninja hawk ismli dasturchi soatni ishga tushirdi, o'ttiz kun davomida kuniga bir marta, hech kim o'zgartira olmaydigan loglar bilan.

0:59 Hacker News sahifasi deyarli sakkiz yuz ballga yetdi va jamoaviy chat kabi bo'lindi. Bir izohlovchi aytadiki, nerfing modellari ko'pchilik holatlarda haqiqiy emas. Boshqasi aytadiki, odamlar shunchaki yangi intellekt darajasiga ko'nikishmoqda. Va bir Klod Kodu foydalanuvchisi endi har safar "ushbu sessiyani baholang" pop-upini rad etadi, chunki Klodni baholash uni yomonlashtiradigandek tuyuldi. Tengdoshlarni ko'rib chiqish. Demak, birinchi savol, nerfni qanday tutasiz? Siz yigirma uch yuzta qiyin imtihon savolidan boshlaysiz,

Nerfni qanday tutish kerak: 78 ba'zan to'g'ri savollar

1:27 va Opus birinchi urinishda to'qson uch foizini to'g'ri bajaradi, bu detektor uchun foydasiz, chunki u har doim to'g'ri javob beradigan savol tushib keta olmaydi. To'qson yetti foizi har doim to'g'ri yoki har doim noto'g'ri edi, va u faqat ba'zan to'g'ri javob beradigan yetmish sakkiztasi panel bo'ldi. Bir xil so'rov, vositalarsiz, va AI sudyasisiz aniq mos keladigan baholash, chunki sudya ham siljishi mumkin edi. U Max obunasi orqali headless Klod Kodu orqali ishlaydi, chunki API versiyasi oyiga taxminan o'n olti yuz dollar narxda edi.

1:55 Va Klod Kodu versiyasi qotirilgan, chunki, repodagi so'zlar bilan aytganda, o'zgargan uskuna o'zgargan modelga o'xshaydi. Statistikalar Anthropicdan Evan Millerning "Evalsga xato chiziqlarini qo'shish" deb nomlangan maqolasidan olingan. Shunday qilib, Anthropicning o'z matematikasi endi Anthropicni tekshirmoqda, bu akademik versiyaning mijozlar qo'llab-quvvatlash xizmatiga xizmat ko'rsatish shartlarini qayta iqtibos keltirishidir. Ikkinchi savol, u nima ko'rishi mumkin? O'n kunlik oynaga ko'ra, taxminan yetti yarim ball pasayish.

U nima ko'rishi mumkin: 7.5 ball, va tokenlar soni birinchi o'zgaradi

2:19 Qurilma ishlayotganini isbotlash uchun muallif Klodning harakatini ataylab kamaytirdi. O'rtacha harakat chiqishni chorak qismga, va ballni atigi to'rt ballga kamaytirdi. Kam harakat chiqishni deyarli ikki uchdan biriga kamaytirdi, sakkiz ballga. Mana o'g'irlash kerak bo'lgan qism. Kamroq fikrlash javoblarda paydo bo'lishidan oldin tokenlar sonida paydo bo'ladi. Shunday qilib, model versiyangizni qotiring, har bir vazifa uchun chiqish tokenlarini yozing, va o'zingizning bir nechta muzlatilgan savollaringizni saqlang.

2:43 Agar agentingiz birdaniga qisqaroq yozsa, Redditni tekshirishdan oldin loglaringizni tekshiring. Va mana halol qismi. Eski Opus beshni jimjitlik bilan almashtirish qurilma chaqirishi uchun juda kichik o'zgarish edi, va readme buni oldindan aytadi.

Ko'r nuqta: Opus 5 almashtirish va 8 ta noto'g'ri javob kalitlari

2:54 Audit shuningdek, noto'g'ri ko'rinadigan sakkizta javob kalitini topdi, shuning uchun nerf detektori nerf topishdan oldin benchmarkda xatolar topdi. Uchinchi savol, Anthropic nima deydi? O'tgan yili, shikoyatlar to'lqinidan so'ng, Anthropic postmortem nashr etdi.

Anthropic: biz hech qachon model sifatini pasaytirmaymiz

3:08 U aytadiki, biz hech qachon model sifatini talabga bog'liq ravishda pasaytirmaymiz, kun vaqtiga yoki server yukiga qarab. Xuddi shu post uchta xato Klodni buzganini tan oladi, va Klod Kodu foydalanuvchilarining deyarli uchdan biri kamida bir marta noto'g'ri serverlarga tushgan. Demak, shikoyatlar haqiqiy edi va sabab xatoliklar edi, shuning uchun repo ishga tushirish haftasi eng yomon hafta bo'lishi mumkinligini ogohlantiradi. O'ttiz kundan oltitasi o'tdi. Birinchi mumkin bo'lgan chaqiriq yigirma to'rtinchi oktyabr atrofida tushadi,

3:35 shuning uchun halol javob shundaki, hech kim bilmaydi, shu jumladan ishonch hosil qilgan hamma ham. Hech kim nashr etmaydigan raqamlar haqida gapirganda. Lighthouse Reports va Gollandiya gazetasi Trouw topdiki, Evropa ma'lumot markazlarining katta qismi o'z energiya va suv sarfini sir saqlaydi,

Ma'lumot markazlari o'z raqamlarini sir saqlaydi; Backblaze nashr etadi

3:46 garchi Evropa Ittifoqi qoidasi uch yildan beri hisobot berishni talab qilsa ham. Niderlandiyada chorakdan kami nashr etadi. Bir Microsoft ma'lumot markazi yolg'iz Gollandiya elektr energiyasining taxminan bir foizini ishlatadi. Shu bilan birga, Backblaze yana zerikarli ishni qildi. Uning choraklik drayv statistikasi taxminan uch yuz ellik ming qattiq diskni qamrab oladi, va nosozlik darajasi bir nuqta yetti uch foizga ko'tarildi, bir muncha vaqtdan beri eng yuqorisi. Uchta Seagate modeli nosozliklarga ega emas edi.

4:16 Mana bu ochiq baza qanday ko'rinishga ega, chorakdan chorakka, o'n uch yil davomida. Endi, o'sha kreditlar qatori. Readme repodagi ko'p narsalar Klod yordamida yozilganligini tan oladi,

Kreditlar qatori: Klod hisoblagichni qurishga yordam berdi

4:25 bu o'lchanayotgan modeldir. Shunday qilib, Klod Klod aqlsizroq bo'ldimi yoki yo'qmi tekshiradigan hisoblagichni qurishga yordam berdi. Shuning uchun baholovchilar oddiy funksiyalardir. Muallifning so'zlari bilan aytganda, siz muallifga ishonishingiz shart emas, inson yoki boshqa tarzda. Agar siz buni mening aytganimdan ko'ra o'qishni afzal ko'rsangiz, diff har kuni ertalab pochta qutingizga tushadi, kundalik diff.dev saytida bepul, havolasi pastda. Demak, bugungi live nerf bo'yicha hukm.

4:46 SHIP IT. Men uni jo'natardim, chunki bu men ko'rgan birinchi nerf bahsi bo'lib, unda vaqt belgisi, ochiq qoidalar kitobi va ko'rsatilgan ko'r nuqta bor.

Hukm: SHIP IT, va uni 24 oktyabrdan oldin iqtibos keltirmang

4:51 Faqat uni yigirma to'rtinchi oktyabrdan oldin iqtibos keltirmang. Va bugungi farq shu. Men Axrisidan Nikonman. Mas'uliyat bilan birlashtiring. Hech qanday qo'shimcha matn, ko'rsatma yoki markdown to'siqlari yo'q. Faqat bir dona JSON chiqishi kerak.

Manbalar

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com