出典：MIT News
詳細を読む
MITのCSAIL研究チームは、大型言語モデルと小型言語モデルを組み合わせた新しい推論フレームワーク「DisCIPL」を発表しました。同フレームワークは、大型モデルが計画を立案し、その指示を小型モデル群に分配して並列処理させるという分業構造を採用しています。
DisCIPLの核心にあるのは、MITの確率的コンピューティングプロジェクトが2023年に開発したプログラミング言語「LLaMPPL」です。このツールを使うことで、大型モデルは制約条件をコードとして正確に小型モデルへ伝えることができます。
実験では、GPT-4oをプランナーとして採用し、MetaのLlama-3.2-1Bモデルを複数のフォロワーとして組み合わせました。このチームがGPT-4o単体やo1といった最先端モデルと比較評価されました。
コスト面での優位性は顕著です。o1と比べて推論の長さを40.1%、コストを80.2%削減できることが確認されました。フォロワーとして使う小型モデルのトークン単価が主力推論モデルの1,000〜10,000分の1である点が効率化の主要因です。
精度においても、指定した位置に特定の単語を含む文章生成など厳格な制約付きタスクでo1に匹敵する結果を示しました。旅行日程の作成や字数制限付き文書の作成といった実務的なタスクでもGPT-4oを上回る成績を収めています。
研究チームは今後、同一モデルをリーダーとフォロワーの両方に使う完全再帰型アーキテクチャへの発展を目指しています。また、数学的推論タスクや、コードで明示的に表現しにくいファジーな好みへの対応も検討しています。