+− THE DAILY DIFFdev & AI news
SHIP IT

Claudeの弱体化を検出する方法(実際のデータを使用)

Claudeはリリースから数週間で賢さが低下すると言われています。

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Claudeはリリースから数週間で賢さが低下すると言われています。ある開発者がClaude Opus 5.5をリリース週から30日間、固定された質問、ピン留めされたClaude Code、公開されたルールでテストしたところ、これまで誰も知ることができなかった理由と、トークン数が監視すべき点であることが明らかになりました。評決:SHIP IT。

書面版を読む(英語) ↗

この動画の要点

  • Claudeはリリース後に賢さが低下する:理論とゼロ日からの監視
  • livenerf:Opus 5.5のリリース週から30日間の時計
  • 弱体化を検出する方法:78の時に正解する質問
  • 何が見えるか:7.5ポイント、そしてトークン数が最初に動く
  • 死角:Opus 5の交換と8つの間違った解答キー

質疑応答

AIモデルがローンチ後にひっそりと性能が低下していないか、どのようにテストできますか?

同じ凍結された質問を決められたスケジュールで実行し、完全に一致するかどうかで採点します。livenerfリポジトリは、Claude Opus 5.5に対して30日間の時計を毎日実行し、誰も編集できないログを残しています。モデルが常に正しく回答する質問は低下しないため、モデルが時々しか正しく回答しない78の質問を使用しています。ハーネスが変更されるとモデルが変更されたように見えるため、Claude Codeのバージョンを固定しています。

この部分を見る 1:24 · github.com · github.com

livenerfメーターはどのくらいの性能低下を検出できますか?

10日間のウィンドウあたり、メーターは約7.5ポイントの低下を検出できます。リグが機能することを証明するために、著者は意図的にClaudeの努力を下げました。努力を減らすと、出力がほぼ3分の2に、スコアが8ポイント減少しました。古いOpus 5にひそかに交換しても、リグが検出するには小さすぎる変更であり、その旨がreadmeに明記されています。

この部分を見る 2:19 · github.com · github.com

AIエージェントの思考量が減っていることに気づくために、開発者は何を追跡すべきですか?

タスクあたりの出力トークン数です。livenerfのテストでは、思考量の減少は回答に現れる前にトークン数に現れました。このエピソードは、モデルのバージョンを固定し、タスクあたりの出力トークン数をログに記録し、独自の凍結された質問をいくつか保持することを示唆しています。エージェントが突然短い文章を書き始めたら、まずログを確認してください。

この部分を見る 2:19 · github.com · news.ycombinator.com

Anthropicは需要が高いときにClaudeの品質を低下させると言っていますか?

Anthropicはそうではないと述べています。2025年9月の事後分析では、需要、時間帯、サーバー負荷によってモデルの品質を低下させることは決してないと述べています。同じ投稿で、3つのバグがClaudeを劣化させたこと、およびClaude Codeユーザーのほぼ3分の1が少なくとも一度は間違ったサーバーにヒットしたことを認めています。

この部分を見る 3:08 · www.anthropic.com

livenerfの結果はClaudeのnerfを示すものとしてまだ信頼できますか?

The Daily Diffの評決は、タイムスタンプ、公開されたルールブック、明記された死角を持つ最初のナーフ議論であるため、プロジェクトとしてはSHIP ITでした。このエピソードでは、30日のうち6日しか経過しておらず、最初の可能な呼び出しがその時に行われるため、10月24日より前に引用しないようにと述べています。監査では、誤っていると思われる8つの解答キーも発見されました。

この部分を見る 4:50 · github.com · github.com · news.ycombinator.com

翻訳されたトランスクリプト

オリジナルの英語ナレーションから翻訳されています。利用可能なオーディオとキャプションはYouTubeによって管理されています。

Claudeはリリース後に賢さが低下する:理論とゼロ日からの監視

0:00 Claudeはリリースから数週間で賢さが低下することは誰もが知っています。 そこで、ある開発者がOpus 5.5をリリース週から監視し始めました。 そして、その監視結果は、これまで誰も知ることができなかったことを示しています。 このビデオでは、3つの質問があります。 弱体化をどうやって検出しますか? このメーターは何が見えますか? そしてAnthropicは何と言っていますか? そして、リポジトリのクレジットにある一文には笑ってしまいました。

0:20 それは最後にお話しします。 9月30日水曜日、The Daily Diffです。 今日のニュースは3つあり、その中でも大きなものは「live nerf」というGitHubリポジトリです。

livenerf:Opus 5.5のリリース週から30日間の時計

0:30 数ヶ月間、Anthropicはリリース後にモデルを密かに弱体化させていると言われています。 一般的な説は、モデルが圧縮されている、同じ名前でより小さなモデルが使われている、 あるいは単に思考が少なくなっているというものです。 このリポジトリは、これまでのすべての議論を「雰囲気対雰囲気」と呼んでいます。 Opus 5.5は9月22日にリリースされ、 1週間前、私はそれが独立したボードでトップになり、中央値のモデルの3倍の単語を書き出したと伝えました。 リリースから2日半後、ninja hawkという開発者が監視を開始しました。 30日間、毎日1回、誰も編集できないログと共に記録されます。

0:59 Hacker Newsのスレッドは800近いポイントに達し、チームチャットのように意見が分かれました。 あるコメント投稿者は、報告されたケースの大多数において、モデルの弱体化は現実ではないと言います。 別の投稿者は、人々が単に新しいレベルの知能に慣れてきただけだと言います。 そして、あるClaude Codeのパワーユーザーは、Claudeの評価がモデルを悪化させるように思えたため、 セッションを評価するポップアップを毎回無視しています。 ピアレビュー。さて、質問1、弱体化をどうやって検出しますか? 約2300の難しい試験問題から始めます。

弱体化を検出する方法:78の時に正解する質問

1:27 Opusは最初の試行で93%を正解しますが、 これは検出器としては役に立ちません。常に正解する質問は低下しようがないからです。 97%は常に正解か常に不正解で、 時に正解する78の質問がパネルになりました。 同じプロンプト、ツールなし、AIの判定なしの完全一致採点です。 判定者もドリフトするからです。 ヘッドレスClaude Codeを介してMaxサブスクリプションで実行されます。 API版は月額約1600ドルだったからです。

1:55 そしてClaude Code版はピン留めされています。 リポジトリの言葉を借りれば、ハーネスが変更されるとモデルが変更されたのと全く同じに見えるからです。 統計はAnthropicのEvan Millerによる論文「Adding Error Bars to Evals」から来ています。 つまり、Anthropic自身の数学がAnthropicを監査しているのです。 これは、カスタマーサポートに利用規約を引用する学術版です。 質問2、何が見えますか? 10日間のウィンドウあたり約7.5ポイントの低下です。

何が見えるか:7.5ポイント、そしてトークン数が最初に動く

2:19 このリグが機能することを証明するために、著者は意図的にClaudeの労力を下げました。 中程度の労力では出力が約4分の1減り、スコアはわずか4ポイント減りました。 低い労力では出力がほぼ3分の2減り、 8ポイント減りました。 これが盗むべき部分です。 思考の減少は、解答に現れる前にトークン数に現れます。 したがって、モデルのバージョンを固定し、タスクごとの出力トークンをログに記録し、 独自の凍結された質問をいくつか保持してください。

2:43 もしエージェントが突然短く書き始めたら、Redditをチェックする前にログをチェックしてください。 そして、これが正直な部分です。 古いOpus 5に密かに交換することは、このリグが検出するにはあまりにも小さな変更であり、 readmeにもその旨が記載されています。

死角:Opus 5の交換と8つの間違った解答キー

2:54 監査では、間違っているように見える8つの解答キーも見つかりました。 したがって、弱体化検出器は、弱体化を発見する前にベンチマークのバグを発見しました。 質問3、Anthropicは何と言っていますか? 昨年、苦情の波を受けて、Anthropicは事後分析を発表しました。

Anthropic:モデルの品質を低下させることは決してありません

3:08 それには、「需要、時間帯、サーバー負荷のためにモデルの品質を低下させることは決してない」と書かれています。 同じ投稿で、3つのバグがClaudeの性能を低下させ、Claude Codeユーザーの約3分の1が 少なくとも1回は間違ったサーバーに接続したことを認めています。 したがって、苦情は現実のものであり、原因はバグでした。 だからこそ、リポジトリはリリース週が最悪の週になる可能性があると警告しています。 30日中6日が経過しました。 最初の可能性のある呼び出しは10月24日頃に行われるため、 正直な答えは、確信していたすべての人を含め、誰も知らないということです。

3:35 誰も公開しない数字といえば。 Lighthouse Reportsとオランダの新聞Trouwは、ヨーロッパのデータセンターの大多数が電力と水の使用量を秘密にしていることを発見しました。 EUの規則では3年間報告が義務付けられているにもかかわらずです。 オランダでは、4分の1未満しか公開していません。

データセンターは数値を秘密にしています。Backblazeは公開しています

3:46 Microsoftの1つのデータセンターだけで、オランダの電力の約1%を使用しています。 一方、Backblazeは再び地味なことを行いました。 四半期ごとのドライブ統計は、約35万台のハードドライブを対象としており、 故障率は1.73%に上昇し、 しばらくぶりの高水準となりました。 3つのSeagateモデルは故障ゼロでした。 これが、13年間、四半期ごとに公開されるベースラインです。 さて、そのクレジットラインです。

4:16 readmeには、リポジトリの多くがClaudeの助けを借りて書かれたと記載されています。 これは測定されているモデルです。 つまり、ClaudeはClaudeが賢くなったかどうかをチェックするメーターの構築を手伝ったのです。 だからこそ、採点者は単純な関数なのです。

クレジットライン:Claudeがメーターの構築を手伝った

4:25 著者の言葉を借りれば、「人間であろうとなかろうと、著者を信頼する必要はない」ということです。 これを読むよりも聞きたい場合は、毎朝The Daily Diff.devで無料でメールボックスに届きます。リンクは下にあります。 今日のライブナーフに関する評決です。 SHIP IT。タイムスタンプ、公開されたルールブック、そして明記された死角を持つ弱体化の議論を初めて見たので、私はこれをSHIP ITとします。 ただし、10月24日までは引用しないでください。 今日の差分は以上です。 AxrisiのNikoでした。 責任を持ってマージしてください。

4:46 責任を持ってマージしてください。 SHIP IT。

評決:SHIP IT、10月24日までは引用しないでください

4:51 私はSHIP ITと判断します。タイムスタンプ、公開されたルールブック、そして明記された死角を持つ初めての弱体化に関する議論だからです。 ただし、10月24日までは引用しないでください。 今日の差分は以上です。 AxrisiのNikoです。 責任を持ってマージしてください。 責任を持ってマージしてください。

情報源

  1. livenerfgithub.com
  2. Validationgithub.com
  3. Hacker Newsnews.ycombinator.com
  4. Anthropic postmortem (Sep 2025)www.anthropic.com
  5. Adding Error Bars to Evals (Evan Miller)arxiv.org
  6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
  7. NL Timesnltimes.nl
  8. Hacker Newsnews.ycombinator.com
  9. Backblaze Drive Stats Q2 2026www.backblaze.com
  10. Hacker Newsnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

関連動画

daily · ja · 2026/09/23

Claude Opus 5.5が値下げ、OpenAIはさらに大幅値下げ。

AnthropicがClaude Opus 5.5を出荷:ほとんどの作業でFableレベルの性能を発揮し、定価から20%オフ、キャッシュ読み取りは60%オフ。約90分後、OpenAIはGPT-6 SolとLunaを出荷し、既存モデルの半額に。Artificial AnalysisはOpusを1位にランク付けしたが、そこに到達するために2億6千万出力トークンを消費し、中央値の3倍だった。評決:NEE

5:12 ↗
daily · ja · 2026/11/06

Claude CodeがユーザーのメールアドレスをWebサイトに連絡先として送信

Claude Codeは、ログインしたアカウントのメールアドレスをモデルのコンテキストに追加しました。エージェントは、WikipediaやSECなど、スクリプトに連絡先を求めるサイトのために作成したcurlリクエストのUser-Agentヘッダーにそのアドレスを入れることがありました。Anthropicはバージョン2.1.317でシェルコマンドチェックを実装し、次のリリースでコンテキストからメール

5:08 ↗
daily · ja · 2026/09/27

OpenAIが違法な書籍を削除した理由

非公開の書類によると、2019年にOpenAIの研究者は、海賊版書籍サイトでのトレーニングについてHacker Newsでの「見た目」を懸念していた。OpenAIは何を知っていたのか、誰がビル・ゲイツに伝えたのか、なぜファイルが削除されたのか、そしてジョージ・R・R・マーティンとGPT-5には何の関係があるのか? Alter対OpenAI & Microsoftの著者側の申立書から:これは申し立て

5:01 ↗