検証結果の内訳
人間の役割は健在
詳細を読む
Hugging FaceはalphaXivと共同で、2026年7月15日から8月2日にかけて、ICML 2026採択論文を対象にした大規模な再現検証企画「ICML 2026 Open Reproductions」を実施しました。世界中から集まった1221人の参加者がAIエージェントを活用し、6352本の採択論文のうち2226本、全体の34%に挑戦しました。
参加者はまず論文を選び、あらかじめ抽出された主要な科学的主張を確認したうえで、Claude CodeやCodexなど好みのAIエージェントに実験を実行させました。得られた結果は「Trackio」ログブックとして公開され、実行コードや成果物、エージェントの実行トレースまで含めて誰でも検証できる形になっています。判定はGLM-5.2を用いた自動審査「Logbook Judge」が担い、各主張を検証済み・反証・小規模実証・判定不能の4区分に分類しました。
審査の結果、6816件のログブックが公開され、合計35908件の主張が判定されました。検証対象となった論文の51%にあたる1103本で少なくとも一つの主張が検証され、うち266本は全ての主張が裏付けられました。一方で23%にあたる496本では主張の反証や矛盾が見つかり、242本については複数チームが同じ主張に対して正反対の判定を下すという結果になりました。
代表例として、査読で高評価を得たスポットライト論文「Towards Optimal Robustness in Learning-Augmented Paging」のロバスト性に関する主張が反証されました。査読者自身が証明を十分に確認できなかったと認めていた論文で、再現チームがスケールを広げた実験により誤りの箇所を特定しています。ほかにも、注意機構の収束を証明した別の論文が224ステップ以降で反例を持つことが3チームの独立検証で判明するなど、複数の重要な誤りが見つかりました。
研究者らは確認できた誤りについて論文著者に連絡しており、複数件で著者側も誤りを認め、arXivへの訂正版投稿が進んでいます。一方で今回の企画は、AIエージェントだけでは限界があることも示しました。局所的な繰り返しにはまったり、スケール依存の挙動を見落としたりする場面があり、人間が介入して前提を問い直した検証ほど信頼性の高い結果につながったといいます。
画像生成の品質など数値だけでは測れない評価には、人による判断が今なお欠かせません。主催者は、研究者が大学院生を指導するように、AIエージェントに適切な環境と問いを与えて成果を引き出す姿勢が今後の鍵になると述べています。今回の全ログとデータは公開されており、次回以降の再現企画にも期待が寄せられています。