評価結果
5モデルは質問の字面を優先
意図への誘導は人に及ばず
判断と回答生成に差
出典：Hugging Face
詳細を読む
Allen Institute for AIの研究チームは、ユーザーの質問に含まれる誤解をAIが見抜けるか測るベンチマーク「XYBench」を公開しました。カーネギーメロン大学、NVIDIA、ジョンズ・ホプキンス大学の研究者と開発し、プログラミングや料理、家の修理などに関する8,115件の質問で、字面の依頼と本来の目的のずれを評価します。
例えば、カップケーキにアイシングが付かない理由が生地の温度なのに、利用者がアイシングを濃くする方法を尋ねるケースです。XYBenchは、AIが依頼された方法だけに答えず、背景の目的を推定し、より有効な解決策へ案内できるかを測ります。
Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Proを評価したところ、各モデルは本来の目的より、質問に明記された依頼への解決策を提示しやすい傾向がありました。Stack Overflowの質問では、モデルが主に本来の目的に焦点を当てた回答は35〜41％で、人の回答例を下回りました。
モデルは回答を自ら作る場合よりも、選択肢から目的に沿った助言を選ぶ場合に高い成績を示し、役立つ回答を見分ける能力と生成する能力の差も明らかになりました。研究チームは、質問の字面ではなく利用者の目的に応える能力の評価や改善にXYBenchを使うことを期待しています。対象は英語の質問が中心で、他言語や会話形式への拡張は今後の課題です。