詳細を読む
IBMは25日、思考の連鎖を備えた推論特化の大規模言語モデル群「Granite 4.2」を公開しました。3B・8B・30Bの3サイズで展開し、いずれも約15兆トークンでゼロから事前学習した上で、多段階の強化学習を経て仕上げています。実務でツールを操作するエージェント用途を意識した設計が特徴です。
アーキテクチャはGrouped Query Attentionを採用したデコーダー専用の高密度トランスフォーマーです。事前学習は5段階構成で、序盤は基礎能力の獲得に充て、終盤で文脈長を51万2000トークンまで拡張しています。3サイズとも同一アーキテクチャと学習手順を踏襲し、規模だけを変えている点が特徴です。
事前学習後には、思考過程やツール利用の軌跡を含む約720万件のデータで教師ありファインチューニングを実施しました。エージェント用データが3割超を占め、コーディングやターミナル操作、検索などの実環境タスクを学習しています。品質管理では複数のLLMを審判に用い、幻覚や無効なツール呼び出しを含むデータを除外しました。
仕上げにはGRPOによる多段階の強化学習を導入し、数学やコーディングといった検証可能な報酬から着手しました。8Bと30Bのみ、ソフトウェア開発やターミナル操作、Web検索を実環境で行うエージェント強化学習を追加で実施しています。最終段階では人間の選好や安全性を反映するRLHFで仕上げています。
ベンチマークでは30BモデルがSWE-Bench Verifiedで57.0点、数学コンテストのAIME25で89.17点を記録するなど、規模に応じて性能が向上しています。全モデルはApache 2.0ライセンスで公開され、FP8やGGUFなど複数の量子化版も同時に提供されました。日本語を含む12言語に対応しています。