Thinking Machines、PC向け26Bモデル公開

小型化を支える設計

中間層を3回循環する構造
26.4B規模で約20GBの容量

端末上で高い実務性能

コーディング評価で小型モデル首位
Apache 2.0で商用利用に対応

得意分野と課題

画像入力と100万トークン対応
知識検索や複数ターンに弱み
詳細を読む

Thinking Machines Labは11月20日、前OpenAI最高技術責任者ミラ・ムラティ氏が率いる米新興企業として、ノートPCや単一GPUで動くオープンウェイトモデル「Inkling 2 Mini」を公開しました。総パラメーター数は264億、メモリー使用量は約20GBで、クラウドに依存せずソフトウェア開発やツール操作を担う狙いです。

特徴は、モデルを大きくする代わりに中間層を繰り返し使う「ループ型トランスフォーマー」です。24層のうち中央の12層を3回通すことで、重みの保存量を増やさずに1トークン当たりの計算を深めます。量子化済みの重みを含めて公開し、Apache 2.0ライセンスで改変や商用利用を認めています。

同社によると、DeepSWE v1.1などのコーディング・エージェント評価で1000億パラメーター未満の公開モデルを上回り、画像入力と100万トークンの文脈長にも対応します。記事が紹介する比較では、同クラスのAlibaba製モデルと総合知能指標で並びながら、タスク実行が約4倍速く、費用は約6分の1でした。

一方、繰り返し計算で事実知識が増えるわけではなく、知識の想起や複数ターンの対話では競合モデルに劣る評価もあります。Thinking Machinesは推論過程の監視可能性を研究機関などと調べており、開発者にはローカル実行の利点と、用途ごとの精度検証の両方が求められます。