Nvidia研究、ハーネス改善でOpus 5がARC-AGI-3満点

Nvidiaは8月21日、独自のエージェント用ハーネス「AVO」を使うことで、Claude Opus 5に対話型推論ベンチマーク「ARC-AGI-3」で100%のスコアを達成させたと発表しました。同モデル単体では30%にとどまっており、記憶管理と監督機能を備えたハーネス設計こそが、長時間タスクをこなす鍵になると示した形です。

ハーネスとは、モデルを取り巻くソフトウェアの外殻を指します。ツールの使い方や記憶の管理、フィードバックの受け渡しなどを司り、生の言語モデルを自律的に動くエージェントへと変える役割を担います。Nvidiaの結果は、モデル選びよりもこの外殻の設計が成果を左右することを裏付けました。

Nvidiaの製品担当バイスプレジデントであるアデル・エルハラック氏は、今回の鍵は主エージェントを見張る「supervisor」の追加にあると説明しています。まるでCEOのように、主エージェントが脱線したり行き詰まったりした際に方向を正し、同じ経路の再探索も防ぐ役割を果たすといいます。

長時間タスクの難しさは他社の検証でも浮き彫りになっています。Microsoftは4月、19種のLLMに文書編集を任せた結果、いずれのモデルも誤りを重ねたとする研究を公表しました。OpenAIも自社モデルのARC-AGI-3でのスコアが1割未満だったことを受けて追試を行い、設定を2つ変えるだけでスコアを3倍にできたものの、100%には届きませんでした。

Databricksの最高経営責任者アリ・ゴドシ氏も、同じモデルでもハーネス次第でコストが2倍近く変わり得ると指摘しています。Nvidiaはこうした結果を踏まえ、オープンなハーネスこそが利用者に主導権を取り戻させると強調しており、開放的なエージェント基盤の普及を今後も後押しする構えです。