Claude性能低下疑惑が拡散、Anthropicは否定
詳細を読む
Anthropicの主力モデルClaude Opus 4.6およびClaude Codeの性能が低下しているとの苦情が、GitHub、X、Redditで急速に拡散しています。きっかけとなったのは、AMDのAI部門シニアディレクターであるStella Laurenzo氏が4月2日に投稿した詳細な分析です。同氏は約6,800件のセッションファイルと約1万8,000件の思考ブロックを調査し、2月以降に推論の深さが著しく低下したと主張しました。
この投稿はXで拡散され、開発者のOm Patel氏による「67%の性能低下」という投稿や、BridgeMindのベンチマークで精度が83.3%から68.3%に下落したとする報告も加わり、「AIシュリンクフレーション(値下げ詐欺)」という表現とともに大きな議論を呼びました。
これに対しAnthropic側は、モデル自体の品質低下を明確に否定しています。Claude Codeの責任者Boris Cherny氏は、2月に導入した適応型思考のデフォルト化と3月のエフォートレベルの中程度への変更が主因だと説明しました。思考表示の変更はUIレベルのもので、実際の推論能力には影響しないとしています。
ベンチマーク結果についても外部の研究者Paul Calcraft氏が反論し、比較された2回のテストはタスク数が6問と30問で異なり、共通タスクでの精度差はわずか2.2ポイントに過ぎないと指摘しました。BridgeBenchの投稿にはコミュニティノートも付されています。
一方で、Anthropicは3月下旬にピーク時間帯のセッション制限を厳格化し、プロンプトキャッシュのTTLも5分間に変更するなど、実際に複数の運用変更を行っていたことは認めています。これらの変更がユーザー体験に影響を与えたことは否定できず、モデル品質への信頼が揺らいでいる状況です。
競合のOpenAIがCodEx強化やChatGPT Pro新プランの投入で攻勢をかける中、Anthropicにとってパワーユーザーとの信頼関係の修復は喫緊の課題となっています。同社はエフォートレベルの手動切り替えやキャッシュ制御の環境変数公開などで対応を進めていますが、ユーザーの不満が収まるかは不透明です。