仏Kog、標準GPUでLLM推論10倍速を9月に実証へ
詳細を読む
フランスの新興企業Kogは、AMDのMI300XやNvidiaのH200など企業が既に保有する標準GPUを対象に、ソフトウェア最適化で推論速度を引き上げる取り組みを進めています。5月公開の技術プレビューでは1秒あたり3,000トークンの処理速度を実証し、200件超の具体的な引き合いを獲得しました。
創業者でCEOのガエル・ドラロー氏によると、最初の主要な用途はソフトウェア開発になる見込みです。Claude Codeなど既存のAIコーディングツールの利用者は、結果を得るまで数時間待たされることも珍しくありません。速度への対価が実際に支払われている実例として、Anthropicは高速処理モードに追加料金を設定しています。
Kogの5月のデモは高い処理速度を示した一方、パラメータ数わずか20億の小型モデル「Laneformer 2B」によるものでした。同社は主要顧客が小型モデルの追加調整を望んでいないと分かり、以降はより大規模なモデルの高速化に開発の焦点を移しています。ドラロー氏は、GPUが推論に適さないという見方は誤解であり、新世代GPUのメモリ帯域幅にはまだ引き出せる余地が大きいと説明しています。
同社は主要な大規模モデルで10倍速を達成した段階で顧客への実績を示し、9月をめどにシリーズAの資金調達に進みたい考えです。フランスでは同様に推論高速化を目指す新興企業ZMLも存在しますが、ドラロー氏はKogのアプローチをスタンフォード大学の研究室に近い、より深いレベルのGPU最適化だと位置づけています。
ドラロー氏は研究者ではなく、フランスのエコール・ポリテクニークで物性物理学を学んだ後、攻撃的サイバーセキュリティ、いわゆるホワイトハットハッキングの分野で経験を積みました。DEFCONのCTF大会で4度決勝進出した経歴を持ち、低レベルでの解析力を培ったこの姿勢が、GPUの物理的な限界を突き詰めるチームの文化につながっているといいます。
同社は仏政府系のBpifranceやフレンチテック2030プログラム、クラウド企業Scalewayの支援も受けています。欧州が自前のAI基盤技術構築を目指す中、Kogの取り組みは地域の技術主権を後押しする可能性があると位置づけられています。