SiMa.ai、Palette 3.0で端末AIを高速化
詳細を読む
SiMa.aiは11月17日、エッジAIプロセッサーModalix向けソフトウェア「Palette 3.0」の機能を公表しました。複数のAI処理を同じチップで動かす仕組みを改良し、同社の測定では一部モデルの文章生成速度が従来方式の最大3.5倍になりました。ロボットやドローンなど、通信が限られる現場でAIを動かす開発者が対象です。
更新の中心は、チップ上で複数アプリケーションが計算資源を共有する方法です。各処理がOSカーネル内のドライバーへ直接要求を送り、開発者は要求ごとに優先順位を設定できます。同社は物体検出と大規模言語モデルを併用する例を示し、物体検出を優先してカメラ処理の遅延を抑える使い方を説明しました。
性能向上の主な要因は、複数トークンを先読みして検証する投機的デコードです。Modalix上で対象モデルの従来生成方式と比べたデコード速度は2.21~3.49倍でした。一方、自動車向けアシスタントの900件の要求を使った別試験では、応答時間の改善は1.35~2.06倍で、測定条件によって結果が異なります。
同社は計算要求あたりのエネルギーを25.9~51.4%減らしたとも推計していますが、これはチップの計算分に限った値です。また、YOLOv26による物体検出では、720p映像60本を合計毎秒600フレームで処理するデモを示しました。これらの数値が個々の製品で必要な応答期限を満たすかは、実際のモデルや構成で確認する必要があります。
刷新したModel Browserでは、処理速度や遅延に加え、チップ電力、CPU・メモリー使用量、モデル層ごとの実行状況を確認できます。開発者は設定ごとの速度と精度のトレードオフを見ながら、Modalixで動かすモデル構成を選べます。ダウンロードした更新パッケージを後から現場の機器に適用でき、常時接続が難しい環境にも対応します。
Palette SDK 3.0は10月31日から提供され、Model Browserは11月17日に公開されると同社は案内しました。DevKit 3.0の米国・欧州向け価格は1,499ドルで、ソフトウェア単体価格や量産時のハードウェア価格は示されていません。既存利用者が2.1.3から3.0.0へ移行する場合は、ネイティブアプリの再ビルドが必要です。