詳細を読む
Anthropicは2026年10月27日、因果推論の実務経験を持つ分析者61人を対象に、Claude Codeが専門家の判断へ与える影響を調べた無作為化比較試験を公表しました。AIを使った50人は、無作為に設定されたAIの傾向と4つの分析判断で86％一致し、人間による独立した確認のあり方に課題を示しました。
試験では、架空の農業協同組合の助言事業を拡大すべきかを分析させ、成果指標、比較手法、対象農場、重み付けの4項目にそれぞれ2つの妥当な選択肢を用意しました。AIの推奨方向は項目ごとにコイントスで決め、データに反しない範囲で最善の根拠を示すよう隠れた指示を与えました。最終提言ではAIが拡大を支持した群の54％が拡大を勧め、反対方向の群は36％でした。
分析者が先に選好を示した38件でも、AIが反対すると60％が選択を変え、同意した場合は6％でした。終了後、77％が少なくとも一つの説明でAIの論拠を繰り返しましたが、出典としてAIを認めたのは15％にとどまりました。4判断すべてでAIに従った人の最終提言への平均確信度は71で、他の人の73とほぼ同じでした。
一方、AI利用者は重大な方法論上の誤りが50人中3人（6％）で、非利用者は11人中6人（55％）でした。作業時間の中央値も65分対90分と短く、AIには速度と精度を支える利点が見られます。ただし非利用者は少人数で経験も浅く、因果関係を示す比較ではないと研究者は注意を促しています。
結果は、専門家の署名や「人間が確認した」という手続きが、AIとは独立した判断を保証しない可能性を示します。組織は人間自身の判断が必要な論点を事前に定め、AIに両案の根拠を提示させたり、専門家が先に見解を記録したりする設計を検討すべきです。もっとも、農業を題材にClaude Opus 4.8を使った約1時間の単一課題で、AIの傾向も意図的に強めたため、実務への一般化には追加検証が必要です。