Weibo、低コスト小型AIで巨大モデル超え性能

低コストで巨大モデル超え

Weibo公開の15億パラメータLLM
後訓練コストはわずか7800ドル
数学・コードで巨大モデルを凌駕
商用利用可能なMITライセンス

新訓練手法と企業への示唆

新手法「SSP」で効率的な学習
多様な解を探求し最適解を増幅
エッジデバイスにも搭載可能
推論コストの大幅な削減を実現
詳細を読む

中国のSNS大手Weiboが、オープンソースの小規模言語モデル(LLM)「VibeThinker-1.5B」を発表しました。このモデルはわずか15億パラメータと小型ながら、数学コーディング推論タスクで数百倍規模のモデルを凌駕する性能を達成。後訓練にかかった費用はわずか7800ドル(約120万円)で、AI開発における「規模の経済」という常識を覆す可能性を秘めています。

VibeThinker-1.5Bの性能は、多くのベンチマークで証明されています。特に数学コーディングの分野では、6710億パラメータのDeepSeek R1や、Anthropic社のClaude Opus 4といった巨大モデルと互角以上のスコアを記録しました。これは、モデルの性能がパラメータ数だけで決まるわけではないことを明確に示しています。

この驚異的な性能の背景には、「SSP(Spectrum-to-Signal Principle)」と呼ばれる独自の訓練手法があります。この手法は、学習を2つの段階に分けます。まず、教師ありファインチューニング(SFT)で多様な正解候補を生成。次に、強化学習(RL)を用いてその中から最も確からしい解を特定し、増幅させます。

SSPは、大規模なパラメータに頼らずとも、モデルが推論の「探索空間」を効率的に探ることを可能にします。最初に幅広い可能性(スペクトル)を探り、そこから最も強い信号(シグナル)を見つけ出すアプローチにより、小規模なモデルでも高い論理的思考力を獲得できるのです。これはAI開発のコスト構造を大きく変える可能性があります。

企業にとって、このモデルは非常に魅力的です。小型であるため、スマートフォンや車載システムなどのエッジデバイスにも搭載可能。推論コストは大規模モデルの20分の1から70分の1にまで削減できると試算されています。これにより、これまでコスト面で導入が難しかった高度なAI機能の実用化が加速するでしょう。

VibeThinker-1.5Bの登場は、AI開発のトレンドがパラメータ数の競争から、より効率的で洗練された訓練手法へと移行しつつあることを示唆しています。コスト、速度、そして制御のしやすさを求める企業にとって、このモデルは実用的なAI導入に向けた強力な選択肢となることは間違いありません。