Claude-un zəifləməsini necə aşkar etmək olar (real məlumatlarla)
İnsanlar deyirlər ki, Claude hər buraxılışdan bir neçə həftə sonra ağılsızlaşır.
İnsanlar deyirlər ki, Claude hər buraxılışdan bir neçə həftə sonra ağılsızlaşır. Bir tərtibatçı Claude Opus 5.5-i buraxılış həftəsindən 30 günlük bir vaxta, dondurulmuş suallar, əsaslanmış Claude Kodu və ictimai qaydalarla qoydu və bu, niyə heç kimin əvvəllər bilə bilməyəcəyini və niyə token sayınızın izlənilməli olan şey olduğunu göstərir. Hökm: SHIP IT.
Yazılı nəşri oxuyun (İngiliscə) ↗
Bu videoda nələr əhatə olunur
- Claude buraxılışdan sonra ağılsızlaşır: nəzəriyyə sıfır gün vaxtla görüşür
- livenerf: Opus 5.5 üçün buraxılış həftəsindən 30 günlük vaxt
- Zəifləməni necə tutmaq olar: 78 bəzən doğru sual
- Nə görə bilər: 7.5 bal və token sayı ilk hərəkət edir
- Kor nöqtə: Opus 5 dəyişimi və 8 səhv cavab açarı
Suallar və cavablar
AI modeli işə salındıqdan sonra onun keyfiyyətinin sakitcə pisləşdiyini necə yoxlamaq olar?
Eyni dondurulmuş sualları müəyyən edilmiş cədvəl üzrə işə salın və onları dəqiq uyğunluqla qiymətləndirin. livenerf repozitoriyası Claude Opus 5.5 üzərində 30 günlük saatı hər gün bir dəfə işlədir, heç kimin düzəldə bilmədiyi qeydlərlə. O, modelin yalnız bəzən doğru cavab verdiyi 78 sualdan istifadə edir, çünki həmişə düzgün cavab verdiyi sual düşə bilməz. O, Claude Code versiyasını bərkidib, çünki dəyişdirilmiş idarəetmə sistemi dəyişdirilmiş model kimi görünür.
livenerf sayğacı nə qədər azalma aşkarlaya bilər?
On günlük pəncərədə sayğac təxminən 7.5 bal azalma görə bilər. Qurğunun işlədiyini sübut etmək üçün müəllif qəsdən Claude-un səyini azaltdı. Aşağı səy nəticəni demək olar ki, üçdə iki, balı isə səkkiz bal azaltdı. Köhnə Opus 5-i sakitcə dəyişdirmək qurğunun aşkar edə bilməyəcəyi qədər kiçik bir dəyişiklik idi və readme bunu əvvəlcədən bildirir.
AI agentinin daha az düşündüyünü fərq etmək üçün tərtibatçılar nəyi izləməlidirlər?
Hər tapşırıq üçün çıxış token sayı. livenerf testlərində, daha az düşünmə cavablarda görünməzdən əvvəl token sayında özünü göstərdi. Bu epizod model versiyanızı bərkitməyi, hər tapşırıq üçün çıxış tokenlərini qeyd etməyi və özünüzə məxsus bir neçə dondurulmuş sualı saxlamağı təklif edir. Əgər agentiniz qəfildən daha qısa yazırsa, əvvəlcə qeydlərinizi yoxlayın.
Anthropic yüksək tələbat olduqda Claude-un keyfiyyətini azaltdığını deyirmi?
Anthropic bunun belə olmadığını deyir. Onun 2025-ci ilin sentyabr ayına aid postmortem hesabatı deyir ki, tələbat, günün vaxtı və ya server yükü səbəbindən modelin keyfiyyətini heç vaxt azaltmır. Eyni post üç səhvin Claude-u pisləşdirdiyini və Claude Code istifadəçilərinin demək olar ki, üçdə birinin ən azı bir dəfə yanlış serverlərə daxil olduğunu etiraf edir.
livenerf nəticələrinə Claude nerf-i göstərmək üçün etibar edilə bilərmi?
The Daily Diff-in layihə üçün hökmü SHIP IT idi, çünki bu, zaman möhürü, ictimai qaydalar kitabı və bildirilmiş kor nöqtəsi olan ilk nerf arqumentidir. Epizod deyir ki, onu 24 oktyabrdan əvvəl sitat gətirməyin, çünki otuz gündən yalnız altısı keçmişdi və ilk mümkün zəng o zaman gəlir. Audit həmçinin səhv görünən 8 cavab açarı tapdı.
Tərcümə olunmuş transkript
Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.
Claude buraxılışdan sonra ağılsızlaşır: nəzəriyyə sıfır gün vaxtla görüşür
0:00 Hər kəs bilir ki, Claude buraxılışdan bir neçə həftə sonra ağılsızlaşır. Beləliklə, bir tərtibatçı Opus beş nöqtə beşini buraxılış həftəsindən bir vaxta qoydu, və vaxt göstərir ki, heç kim hələ bilə bilməzdi. Bu videoda üç sual. Bir zəifləməni necə tutursunuz? Bu ölçü cihazı nə görə bilər? Və Anthropic nə deyir? Və repodakı kreditlərin bir sətri məni yüksək səslə güldürdü.
0:20 Buna sonda toxunacağam. Bu, Çərşənbə, Sentyabrın otuzudur, və bu, The Daily Diff-dir. Bu gün üç hekayə, və böyük olanı live nerf adlı bir GitHub repodur.
livenerf: Opus 5.5 üçün buraxılış həftəsindən 30 günlük vaxt
0:30 Aylardır insanlar deyirdilər ki, Anthropic buraxılışdan sonra modellərini sakitcə zəiflədir. Adətən nəzəriyyələr sıxılmış bir model, eyni ad altında daha kiçik bir modeldir və ya sadəcə daha az düşünmədir. Repo indiyə qədərki hər arqumenti vibes-ə qarşı vibes adlandırır. Opus beş nöqtə beş Sentyabrın iyirmi ikisində göndərildi, və bir həftə əvvəl mən sizə dedim ki, o, median modelindən üç dəfə daha çox söz yazaraq müstəqil lövhədə birinci oldu. İki yarım gündən sonra, ninja hawk adlı bir tərtibatçı vaxtı işə saldı,
0:59 otuz gün ərzində gündə bir dəfə, heç kimin redaktə edə bilməyəcəyi qeydlərlə. Hacker News mövzusu demək olar ki, səkkiz yüz bala çatdı və bir komanda çatı kimi parçalandı. Bir şərhçi deyir ki, modellərin zəiflədilməsi bildirilən halların böyük əksəriyyətində real deyil. Başqa bir şərhçi deyir ki, insanlar sadəcə yeni zəka səviyyəsinə öyrəşirlər. Və bir Claude Code güclü istifadəçisi indi hər dəfə bu sessiyanı qiymətləndir açılan pəncərəsini rədd edir, çünki Claude-u qiymətləndirmək onu daha da pisləşdirmiş kimi görünürdü. Həmyaşıd baxışı. Beləliklə, birinci sual, bir zəifləməni necə tutursunuz?
Zəifləməni necə tutmaq olar: 78 bəzən doğru sual
1:27 Təxminən iyirmi üç yüz çətin imtahan sualı ilə başlayırsınız, və Opus birinci cəhddə doxsan üç faizini doğru cavablandırır, bu isə bir detektor üçün faydasızdır, çünki həmişə doğru cavablandırdığı bir sual düşə bilməz. Doxsan yeddi faizi həmişə doğru və ya həmişə səhv idi, və yalnız bəzən doğru cavablandırdığı yetmiş səkkiz sual panel oldu. Eyni tələffüz, alətlərsiz, və süni intellekt hakim olmadan dəqiq uyğunluq qiymətləndirməsi, çünki hakim də sürüşərdi. O, başsız Claude Code vasitəsilə Max abunəliyi üzərində işləyir,
1:55 çünki API versiyasının qiyməti ayda təxminən on altı yüz dollar idi. Və Claude Code versiyası sabitdir, çünki, repodakı sözlərə görə, dəyişdirilmiş bir quruluş dəyişdirilmiş bir model kimi görünür. Statistikalar Anthropic-dən Evan Miller tərəfindən yazılmış Adding Error Bars to Evals adlı bir məqalədən gəlir. Beləliklə, Anthropic-in öz riyaziyyatı indi Anthropic-i yoxlayır, bu da akademik versiyadır müştəri dəstəyinə xidmət şərtlərini geri sitat gətirməyin.
Nə görə bilər: 7.5 bal və token sayı ilk hərəkət edir
2:19 İkinci sual, nə görə bilər? Hər on günlük pəncərə üçün təxminən yeddi yarım bal düşüşü. Qurğunun işlədiyini sübut etmək üçün müəllif Claude-un səyini qəsdən azaltdı. Orta səy çıxışı təxminən dörddə bir, və balı yalnız dörd bal azaltdı. Aşağı səy çıxışı demək olar ki, üçdə iki azaldı, səkkiz bal üçün. Bu, oğurlanacaq hissədir. Daha az düşünmə cavablarda görünməzdən əvvəl token sayında görünür.
2:43 Beləliklə, model versiyanızı sabitlər, hər tapşırıq üçün çıxış tokenlərini qeyd edirsiniz, və özünüzə aid bir neçə dondurulmuş sual saxlayırsınız. Agentiniz birdən daha qısa yazarsa, Reddit-ə baxmadan əvvəl qeydlərinizi yoxlayın. Və budur dürüst hissəsi.
Kor nöqtə: Opus 5 dəyişimi və 8 səhv cavab açarı
2:54 Köhnə Opus beşini sakitcə dəyişdirmək qurğunun aşkar etməsi üçün çox kiçik bir dəyişiklik idi, və readme bunu əvvəldən deyir. Audit həmçinin səhv görünən səkkiz cavab açarı tapdı, beləliklə, zəifləmə detektoru bir zəifləmə tapmadan əvvəl benchmarkda səhvlər tapdı.
Anthropic: biz heç vaxt model keyfiyyətini azaltmırıq
3:08 Üçüncü sual, Anthropic nə deyir? Keçən il, şikayətlər dalğasından sonra, Anthropic bir postmortem dərc etdi. Deyir, sitat, biz heç vaxt tələbə görə model keyfiyyətini azaltmırıq, günün vaxtına və ya server yüklənməsinə görə. Eyni post üç səhvin Claude-u pisləşdirdiyini etiraf edir, və Claude Code istifadəçilərinin demək olar ki, üçdə biri ən azı bir dəfə səhv serverlərə daxil oldu. Beləliklə, şikayətlər real idi və səbəb səhvlər idi, bu səbəbdən repo buraxılış həftəsinin ən pis həftə ola biləcəyi barədə xəbərdarlıq edir.
3:35 Otuz gündən altısı keçib. İlk mümkün zəng oktyabrın iyirmi dördü ətrafında olacaq, beləliklə, dürüst cavab budur ki, əmin olan hər kəs daxil olmaqla heç kim bilmir. Heç kimin dərc etmədiyi rəqəmlərdən danışmışkən.
Məlumat mərkəzləri rəqəmlərini sirr saxlayır; Backblaze dərc edir
3:46 Lighthouse Reports və Hollandiya qəzeti Trouw müəyyən etdi ki, Avropa məlumat mərkəzlərinin böyük əksəriyyəti elektrik və su istifadələrini sirr saxlayır, baxmayaraq ki, Aİ qaydası üç ildir hesabat verməyi tələb edir. Hollandiyada dörddə birindən azı dərc edir. Tək bir Microsoft məlumat mərkəzi Hollandiya elektrik enerjisinin təxminən bir faizini istifadə edir. Bu arada, Backblaze yenidən darıxdırıcı işi gördü. Onun rüblük sürücü statistikası təxminən üç yüz əlli min sabit diski əhatə edir, və uğursuzluq nisbəti bir nöqtə yetmiş üç faizə yüksəldi,
4:16 bir müddətdir ən yüksək səviyyə. Üç Seagate modelində sıfır uğursuzluq oldu. Bu, rübdən rübü, on üç il ərzində ictimai bir baza xəttinin necə göründüyüdür. on üç il ərzində.
Kreditlər xətti: Claude ölçü cihazını qurmağa kömək etdi
4:25 İndi, o kreditlər xətti. Readme etiraf edir ki, repodakı bir çox şey Claude-un köməyi ilə yazılmışdır, hansı ki, ölçülən modeldir. Beləliklə, Claude Claude-un ağılsızlaşıb-ağılsızlaşmadığını yoxlayan ölçü cihazını qurmağa kömək etdi. Məhz buna görə də qiymətləndiricilər sadə funksiyalardır. Müəllifin sözləri ilə desək, müəllifə etibar etməməlisiniz, insan olsun, ya da olmasın. Əgər bunu məndən eşitməkdənsə oxumaq istəsəniz, fərq hər səhər
4:46 pulsuz olaraq the daily diff dot dev ünvanında, aşağıdakı keçiddə, gəlir. Beləliklə, bu günkü live nerf haqqında hökm.
Hökm: SHIP IT, və 24 Oktyabr-dan əvvəl sitat gətirməyin
4:51 SHIP IT. Mən onu göndərərdim, çünki bu, vaxt damğası, ictimai qaydalar kitabı və bildirilmiş kor nöqtə ilə gördüyüm ilk zəifləmə arqumentidir. Sadəcə 24 Oktyabr-dan əvvəl sitat gətirməyin. Və bu, bu gün üçün fərqdir. Mən Axrisi-dən Niko. Məsuliyyətlə birləşdirin.
Mənbələr
- livenerfgithub.com
- Validationgithub.com
- Hacker Newsnews.ycombinator.com
- Anthropic postmortem (Sep 2025)www.anthropic.com
- Adding Error Bars to Evals (Evan Miller)arxiv.org
- Inspect (UK AI Security Institute)inspect.aisi.org.uk
- NL Timesnltimes.nl
- Hacker Newsnews.ycombinator.com
- Backblaze Drive Stats Q2 2026www.backblaze.com
- Hacker Newsnews.ycombinator.com



