Together AI、LLM推論を4倍高速化する新技術

AI開発企業Together AIは2025年10月10日、大規模言語モデル（LLM）の推論速度を最大4倍に高速化する新システム「ATLAS」を発表しました。このシステムは、AIの利用状況の変化に合わせてリアルタイムで自己学習する「適応型投機実行」技術を採用。これまで企業のAI導入拡大を妨げてきた、ワークロードの変化に伴う性能劣化という「見えざる壁」を打ち破ることを目指します。

多くの企業が直面する課題は、AIのワークロードが変化すると推論速度が低下する「ワークロードドリフト」です。従来の推論高速化技術で使われる「静的投機モデル」は、一度固定データで訓練されるため、例えば開発言語がPythonからRustに変わるだけで予測精度が急落し、性能が劣化します。この問題はAI活用の拡大における隠れたコストとなっていました。

ATLASは、この課題を独自のデュアルモデル構造で解決します。広範なデータで訓練された安定的な「静的モデル」が基本性能を保証し、軽量な「適応型モデル」が実際のトラフィックから継続的に学習して特化します。さらに制御システムが両者を動的に切り替えることで、利用者は設定不要で常に最適な高速化の恩恵を受けられます。

この高速化の鍵は、計算資源の非効率性を突くアプローチにあります。通常の推論処理はGPUのメモリ性能に依存し、計算能力が十分に活用されていません。ATLASは一度に複数のトークン候補を生成・検証することで、メモリへのアクセス回数を抑えつつ、待機状態にあった計算能力を最大限に引き出し、スループットを劇的に向上させます。

その性能は目覚ましく、NVIDIAのB200 GPU上で特定モデルでは毎秒500トークンを達成。これはGroqなどの専用推論チップに匹敵、あるいは凌駕する水準です。ソフトウェアとアルゴリズムの改良が、高価な専用ハードウェアとの性能差を埋められることを示しており、AIインフラの常識を覆す可能性を秘めています。

ATLASはTogether AIのプラットフォームで追加費用なしで利用可能です。この技術は、AIの利用用途が多様化する企業にとって、性能のボトルネックを解消し、コストを抑えながらAI活用をスケールさせる強力な武器となるでしょう。静的な最適化から動的な適応へと向かうこの動きは、今後のAI推論エコシステム全体に大きな影響を与えそうです。