AI推論コストを10倍削減、Tensormeshが6.7億円調達
詳細を読む
AIスタートアップのTensormeshが、Laude Ventures主導のシードラウンドで450万ドル(約6.7億円)を調達しました。同社は、オープンソースとして実績のあるAI推論最適化ツール「LMCache」を商用化し、企業のAI推論コストを最大10倍削減することを目指します。GPUリソースが逼迫する中、既存インフラから最大限の性能を引き出す同社の技術に注目が集まっています。
技術の核心は「KVキャッシュ」の効率的な再利用にあります。従来のAIモデルは、クエリ(問い合わせ)ごとに生成されるKVキャッシュを毎回破棄していました。これは「賢い分析官が質問のたびに学んだことを忘れてしまう」ような非効率を生んでいます。Tensormeshのシステムは、このキャッシュを保持し、類似の処理で再利用することで、計算リソースの無駄を徹底的に排除します。
この技術は、対話の文脈を常に参照する必要があるチャットインターフェースや、行動履歴が重要となるエージェントシステムで特に威力を発揮します。会話が進むにつれて増大するデータを効率的に処理できるため、応答速度を維持しつつ、より高度な対話が可能になります。サーバー負荷を変えずに推論能力を大幅に向上させられるのです。
なぜ、このようなソリューションが必要なのでしょうか。同様のシステムを自社開発するには、20人規模のエンジニアチームが数ヶ月を要するなど、技術的なハードルが非常に高いのが実情です。Tensormeshは、導入すればすぐに使える製品を提供することで、企業が複雑なインフラ構築から解放され、本来の事業に集中できる環境を整えます。
Tensormesh共同創業者が開発したオープンソースのLMCacheは、既にGoogleやNvidiaも自社サービスに統合するなど、技術界で高い評価を得ています。今回の資金調達は、その確かな技術的実績を、より多くの企業が利用できる商用サービスへと転換するための重要な一歩となるでしょう。