Claude-un zəifləməsini necə aşkar etmək olar (real məlumatlarla)

Bu videoda nələr əhatə olunur

• Claude buraxılışdan sonra ağılsızlaşır: nəzəriyyə sıfır gün vaxtla görüşür
• livenerf: Opus 5.5 üçün buraxılış həftəsindən 30 günlük vaxt
• Zəifləməni necə tutmaq olar: 78 bəzən doğru sual
• Nə görə bilər: 7.5 bal və token sayı ilk hərəkət edir
• Kor nöqtə: Opus 5 dəyişimi və 8 səhv cavab açarı

Tərcümə olunmuş transkript

Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.

Claude buraxılışdan sonra ağılsızlaşır: nəzəriyyə sıfır gün vaxtla görüşür

0:00 Hər kəs bilir ki, Claude buraxılışdan bir neçə həftə sonra ağılsızlaşır. Beləliklə, bir tərtibatçı Opus beş nöqtə beşini buraxılış həftəsindən bir vaxta qoydu, və vaxt göstərir ki, heç kim hələ bilə bilməzdi. Bu videoda üç sual. Bir zəifləməni necə tutursunuz? Bu ölçü cihazı nə görə bilər? Və Anthropic nə deyir? Və repodakı kreditlərin bir sətri məni yüksək səslə güldürdü.

0:20 Buna sonda toxunacağam. Bu, Çərşənbə, Sentyabrın otuzudur, və bu, The Daily Diff-dir. Bu gün üç hekayə, və böyük olanı live nerf adlı bir GitHub repodur.

livenerf: Opus 5.5 üçün buraxılış həftəsindən 30 günlük vaxt

0:30 Aylardır insanlar deyirdilər ki, Anthropic buraxılışdan sonra modellərini sakitcə zəiflədir. Adətən nəzəriyyələr sıxılmış bir model, eyni ad altında daha kiçik bir modeldir və ya sadəcə daha az düşünmədir. Repo indiyə qədərki hər arqumenti vibes-ə qarşı vibes adlandırır. Opus beş nöqtə beş Sentyabrın iyirmi ikisində göndərildi, və bir həftə əvvəl mən sizə dedim ki, o, median modelindən üç dəfə daha çox söz yazaraq müstəqil lövhədə birinci oldu. İki yarım gündən sonra, ninja hawk adlı bir tərtibatçı vaxtı işə saldı,

0:59 otuz gün ərzində gündə bir dəfə, heç kimin redaktə edə bilməyəcəyi qeydlərlə. Hacker News mövzusu demək olar ki, səkkiz yüz bala çatdı və bir komanda çatı kimi parçalandı. Bir şərhçi deyir ki, modellərin zəiflədilməsi bildirilən halların böyük əksəriyyətində real deyil. Başqa bir şərhçi deyir ki, insanlar sadəcə yeni zəka səviyyəsinə öyrəşirlər. Və bir Claude Code güclü istifadəçisi indi hər dəfə bu sessiyanı qiymətləndir açılan pəncərəsini rədd edir, çünki Claude-u qiymətləndirmək onu daha da pisləşdirmiş kimi görünürdü. Həmyaşıd baxışı. Beləliklə, birinci sual, bir zəifləməni necə tutursunuz?

Zəifləməni necə tutmaq olar: 78 bəzən doğru sual

1:27 Təxminən iyirmi üç yüz çətin imtahan sualı ilə başlayırsınız, və Opus birinci cəhddə doxsan üç faizini doğru cavablandırır, bu isə bir detektor üçün faydasızdır, çünki həmişə doğru cavablandırdığı bir sual düşə bilməz. Doxsan yeddi faizi həmişə doğru və ya həmişə səhv idi, və yalnız bəzən doğru cavablandırdığı yetmiş səkkiz sual panel oldu. Eyni tələffüz, alətlərsiz, və süni intellekt hakim olmadan dəqiq uyğunluq qiymətləndirməsi, çünki hakim də sürüşərdi. O, başsız Claude Code vasitəsilə Max abunəliyi üzərində işləyir,

1:55 çünki API versiyasının qiyməti ayda təxminən on altı yüz dollar idi. Və Claude Code versiyası sabitdir, çünki, repodakı sözlərə görə, dəyişdirilmiş bir quruluş dəyişdirilmiş bir model kimi görünür. Statistikalar Anthropic-dən Evan Miller tərəfindən yazılmış Adding Error Bars to Evals adlı bir məqalədən gəlir. Beləliklə, Anthropic-in öz riyaziyyatı indi Anthropic-i yoxlayır, bu da akademik versiyadır müştəri dəstəyinə xidmət şərtlərini geri sitat gətirməyin.

Nə görə bilər: 7.5 bal və token sayı ilk hərəkət edir

2:19 İkinci sual, nə görə bilər? Hər on günlük pəncərə üçün təxminən yeddi yarım bal düşüşü. Qurğunun işlədiyini sübut etmək üçün müəllif Claude-un səyini qəsdən azaltdı. Orta səy çıxışı təxminən dörddə bir, və balı yalnız dörd bal azaltdı. Aşağı səy çıxışı demək olar ki, üçdə iki azaldı, səkkiz bal üçün. Bu, oğurlanacaq hissədir. Daha az düşünmə cavablarda görünməzdən əvvəl token sayında görünür.

2:43 Beləliklə, model versiyanızı sabitlər, hər tapşırıq üçün çıxış tokenlərini qeyd edirsiniz, və özünüzə aid bir neçə dondurulmuş sual saxlayırsınız. Agentiniz birdən daha qısa yazarsa, Reddit-ə baxmadan əvvəl qeydlərinizi yoxlayın. Və budur dürüst hissəsi.

Kor nöqtə: Opus 5 dəyişimi və 8 səhv cavab açarı

2:54 Köhnə Opus beşini sakitcə dəyişdirmək qurğunun aşkar etməsi üçün çox kiçik bir dəyişiklik idi, və readme bunu əvvəldən deyir. Audit həmçinin səhv görünən səkkiz cavab açarı tapdı, beləliklə, zəifləmə detektoru bir zəifləmə tapmadan əvvəl benchmarkda səhvlər tapdı.

Anthropic: biz heç vaxt model keyfiyyətini azaltmırıq

3:08 Üçüncü sual, Anthropic nə deyir? Keçən il, şikayətlər dalğasından sonra, Anthropic bir postmortem dərc etdi. Deyir, sitat, biz heç vaxt tələbə görə model keyfiyyətini azaltmırıq, günün vaxtına və ya server yüklənməsinə görə. Eyni post üç səhvin Claude-u pisləşdirdiyini etiraf edir, və Claude Code istifadəçilərinin demək olar ki, üçdə biri ən azı bir dəfə səhv serverlərə daxil oldu. Beləliklə, şikayətlər real idi və səbəb səhvlər idi, bu səbəbdən repo buraxılış həftəsinin ən pis həftə ola biləcəyi barədə xəbərdarlıq edir.

3:35 Otuz gündən altısı keçib. İlk mümkün zəng oktyabrın iyirmi dördü ətrafında olacaq, beləliklə, dürüst cavab budur ki, əmin olan hər kəs daxil olmaqla heç kim bilmir. Heç kimin dərc etmədiyi rəqəmlərdən danışmışkən.

Məlumat mərkəzləri rəqəmlərini sirr saxlayır; Backblaze dərc edir

3:46 Lighthouse Reports və Hollandiya qəzeti Trouw müəyyən etdi ki, Avropa məlumat mərkəzlərinin böyük əksəriyyəti elektrik və su istifadələrini sirr saxlayır, baxmayaraq ki, Aİ qaydası üç ildir hesabat verməyi tələb edir. Hollandiyada dörddə birindən azı dərc edir. Tək bir Microsoft məlumat mərkəzi Hollandiya elektrik enerjisinin təxminən bir faizini istifadə edir. Bu arada, Backblaze yenidən darıxdırıcı işi gördü. Onun rüblük sürücü statistikası təxminən üç yüz əlli min sabit diski əhatə edir, və uğursuzluq nisbəti bir nöqtə yetmiş üç faizə yüksəldi,

4:16 bir müddətdir ən yüksək səviyyə. Üç Seagate modelində sıfır uğursuzluq oldu. Bu, rübdən rübü, on üç il ərzində ictimai bir baza xəttinin necə göründüyüdür. on üç il ərzində.

Kreditlər xətti: Claude ölçü cihazını qurmağa kömək etdi

4:25 İndi, o kreditlər xətti. Readme etiraf edir ki, repodakı bir çox şey Claude-un köməyi ilə yazılmışdır, hansı ki, ölçülən modeldir. Beləliklə, Claude Claude-un ağılsızlaşıb-ağılsızlaşmadığını yoxlayan ölçü cihazını qurmağa kömək etdi. Məhz buna görə də qiymətləndiricilər sadə funksiyalardır. Müəllifin sözləri ilə desək, müəllifə etibar etməməlisiniz, insan olsun, ya da olmasın. Əgər bunu məndən eşitməkdənsə oxumaq istəsəniz, fərq hər səhər

4:46 pulsuz olaraq the daily diff dot dev ünvanında, aşağıdakı keçiddə, gəlir. Beləliklə, bu günkü live nerf haqqında hökm.

Hökm: SHIP IT, və 24 Oktyabr-dan əvvəl sitat gətirməyin

4:51 SHIP IT. Mən onu göndərərdim, çünki bu, vaxt damğası, ictimai qaydalar kitabı və bildirilmiş kor nöqtə ilə gördüyüm ilk zəifləmə arqumentidir. Sadəcə 24 Oktyabr-dan əvvəl sitat gətirməyin. Və bu, bu gün üçün fərqdir. Mən Axrisi-dən Niko. Məsuliyyətlə birləşdirin.

Mənbələr

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com