AI21が25万トークン対応の小型LLMを発表、エッジAIの経済性を一変

イスラエルのAIスタートアップAI21 Labsは、30億パラメータの小型オープンソースLLM「Jamba Reasoning 3B」を発表しました。このモデルは、ノートPCやスマートフォンなどのエッジデバイス上で、25万トークン以上という異例の長大なコンテキストウィンドウを処理可能であり、AIインフラストラクチャのコスト構造を根本的に変える可能性を秘めています。

Jamba Reasoning 3Bは、従来のTransformerに加え、メモリ効率に優れたMambaアーキテクチャを組み合わせたハイブリッド構造を採用しています。これにより、小型モデルながら高度な推論能力と長文処理を両立。推論速度は従来のモデルに比べて2〜4倍高速であり、MacBook Pro上でのテストでは毎秒35トークンを処理できることが確認されています。

AI21の共同CEOであるオリ・ゴーシェン氏は、データセンターへの過度な依存が経済的な課題となっていると指摘します。Jamba Reasoning 3Bのような小型モデルをデバイス上で動作させることで、高価なGPUクラスターへの負荷を大幅に軽減し、AIインフラストラクチャのコスト削減に貢献し、分散型AIの未来を推進します。

このモデルは、特に企業が関心を持つユースケースに最適化されています。具体的には、関数呼び出し、ポリシーに基づいた生成、そしてツールルーティングなどのタスクで真価を発揮します。シンプルな業務指示や議事録作成などはデバイス上で完結し、プライバシーの確保にも役立ちます。

Jamba Reasoning 3Bは、同規模の他の小型モデルと比較したベンチマークテストでも優位性を示しました。特に長文理解を伴うIFBenchやHumanity’s Last Examといったテストで最高スコアを獲得。これは、同モデルがサイズを犠牲にすることなく、高度な推論能力を維持していることを示しています。

企業は今後、複雑で重い処理はクラウド上のGPUクラスターに任せ、日常的かつシンプルな処理はエッジデバイスでローカルに実行する「ハイブリッド運用」に移行すると見られています。Jamba Reasoning 3Bは、このハイブリッド戦略の中核となる効率的なローカル処理能力を提供します。