Groq(企業)に関するニュース一覧

Groq(企業)に関するニュース一覧

Together AI、LLM推論を4倍高速化する新技術

静的推論の限界

ワークロード変化で性能劣化
静的投機モデルの精度低下
再学習コストと迅速な陳腐化

適応型システムATLAS

リアルタイムで学習・適応
静的・適応型のデュアルモデル
専用チップに匹敵する処理性能
推論コストと遅延を削減

AI開発企業Together AIは2025年10月10日、大規模言語モデル(LLM)の推論速度を最大4倍に高速化する新システム「ATLAS」を発表しました。このシステムは、AIの利用状況の変化に合わせてリアルタイムで自己学習する「適応型投機実行」技術を採用。これまで企業のAI導入拡大を妨げてきた、ワークロードの変化に伴う性能劣化という「見えざる壁」を打ち破ることを目指します。

多くの企業が直面する課題は、AIのワークロードが変化すると推論速度が低下する「ワークロードドリフト」です。従来の推論高速化技術で使われる「静的投機モデル」は、一度固定データで訓練されるため、例えば開発言語がPythonからRustに変わるだけで予測精度が急落し、性能が劣化します。この問題はAI活用の拡大における隠れたコストとなっていました。

ATLASは、この課題を独自のデュアルモデル構造で解決します。広範なデータで訓練された安定的な「静的モデル」が基本性能を保証し、軽量な「適応型モデル」が実際のトラフィックから継続的に学習して特化します。さらに制御システムが両者を動的に切り替えることで、利用者は設定不要で常に最適な高速化の恩恵を受けられます。

この高速化の鍵は、計算資源の非効率性を突くアプローチにあります。通常の推論処理はGPUのメモリ性能に依存し、計算能力が十分に活用されていません。ATLASは一度に複数のトークン候補を生成・検証することで、メモリへのアクセス回数を抑えつつ、待機状態にあった計算能力を最大限に引き出し、スループットを劇的に向上させます。

その性能は目覚ましく、NVIDIAのB200 GPU上で特定モデルでは毎秒500トークンを達成。これはGroqなどの専用推論チップに匹敵、あるいは凌駕する水準です。ソフトウェアとアルゴリズムの改良が、高価な専用ハードウェアとの性能差を埋められることを示しており、AIインフラの常識を覆す可能性を秘めています。

ATLASはTogether AIのプラットフォームで追加費用なしで利用可能です。この技術は、AIの利用用途が多様化する企業にとって、性能のボトルネックを解消し、コストを抑えながらAI活用をスケールさせる強力な武器となるでしょう。静的な最適化から動的な適応へと向かうこの動きは、今後のAI推論エコシステム全体に大きな影響を与えそうです。

Nvidia追撃のGroqが7.5億ドル調達 AI推論特化LPUで69億ドル評価へ

資金調達と企業価値

新規調達額は7.5億ドルを達成
ポストマネー評価額69億ドルに到達
1年間で評価額2.8倍に急伸
累計調達額は30億ドル超と推定

技術的優位性

NvidiaGPUに挑む独自チップLPUを採用
AIモデル実行(推論)特化の高性能エンジン
迅速性、効率性、低コストを実現
開発者200万人超が利用、市場浸透が加速

AIチップベンチャーのGroqは先日、7億5000万ドルの新規資金調達を完了し、ポストマネー評価額69億ドル(約1兆円)に到達したと発表しました。これは当初予想されていた額を上回る結果です。同社は、AIチップ市場を支配するNvidiaGPUに対抗する存在として、推論特化の高性能なLPU(言語処理ユニット)を提供しており、投資家の高い関心を集めています。

Groqの核となるのは、従来のGPUとは異なる独自アーキテクチャのLPUです。これは、AIモデルを実際に実行する「推論(Inference)」に特化して最適化されており、推論エンジンと呼ばれます。この設計により、Groqは競合製品と比較して、AIパフォーマンスを維持または向上させつつ、大幅な低コストと高効率を実現しています。

Groqの技術は開発者や企業向けに急速に浸透しています。利用する開発者の数は、わずか1年で35万6000人から200万人以上へと急増しました。製品はクラウドサービスとして利用できるほか、オンプレミスのハードウェアクラスターとしても提供され、企業の多様なニーズに対応できる柔軟性も強みです。

今回の調達額は7.5億ドルですが、注目すべきはその評価額の伸びです。Groq評価額は、2024年8月の前回の資金調達時(28億ドル)からわずか約1年で2.8倍以上に膨らみました。累計調達額は30億ドルを超えると推定されており、AIインフラ市場における同社の将来性に、DisruptiveやBlackRockなどの大手が確信を示しています。

創業者のジョナサン・ロス氏は、GoogleTensor Processing Unit(TPU)の開発に携わっていた経歴を持ちます。TPUGoogle CloudのAIサービスを支える専門プロセッサであり、ロス氏のディープラーニング向けチップ設計における豊富な経験が、Groq独自のLPU開発の基盤となっています。