MITとIBM、少量データでマルチモーダルAIの理解改善
出典:MIT News
詳細を読む
MITとIBMの共同研究チームは、音声・映像・言語を扱うマルチモーダルAIの弱点を調べ、少量の教師データで能力を引き出す手法を開発しています。MITのジム・グラス上級研究員は、モデルが音や画像を本当に理解しているかを測るベンチマークを公開し、巨大モデルの規模拡大だけに頼らず性能を改善する狙いを説明しました。
初期の研究では、音声と画像、映像と音声の一致・不一致例をモデルに示し、言葉で詳しく教えずに対応関係を学ばせました。近年は既存の大規模マルチモーダルモデルが、見た目には流暢でも特定対象の位置を特定できないなどの限界を検証しています。
チームのIPLoc研究では、少数例で物体を探す課題において、既知の単語を別の仮名に置き換える方法を試しました。「飛行機」を「エリザベス」と置き換えることで、モデルが事前知識に頼らず画像の文脈に注意を向けるよう促します。
音声言語モデルの評価では、選択肢式の問題が音声を聞かずに回答を推測する抜け道になる場合があると指摘しました。実際に無作為な雑音を入力しても成績が高い例があり、研究チームは複数種類のベンチマークを使い、音そのものに注意を向ける手法を探っています。
大規模基盤モデルを一から作る資源がないため、チームは既存モデルを弱い教師信号やテスト時強化学習などで適応させています。今後は、相手が話している間にも聞き、応答できる全二重音声対話に注力する計画です。自然な会話に近づける一方、現行モデルには時間の概念や知識の深さなどの課題が残るとしています。