詳細を読む
GoogleのGemma 4 VLA（Vision-Language-Action）モデルが、わずか8GBメモリのNVIDIA Jetson Orin Nano Super上で動作するデモが公開されました。音声入力から視覚認識、音声応答までを一台のエッジデバイスで完結させるチュートリアルで、NVIDIAのAsier Arranz氏がHugging Faceブログで詳細な手順を紹介しています。
デモの構成は、Parakeet STTによる音声認識、Gemma 4による推論、Kokoro TTSによる音声合成を組み合わせたパイプラインです。ユーザーがスペースキーを押して質問を話すと、モデルが質問内容を解析します。視覚情報が必要と判断した場合は、自律的にウェブカメラを起動して撮影し、画像を踏まえた回答を生成します。
技術的なポイントは、llama.cppを使ったローカル推論サーバーの構築です。モデルはQ4_K_M量子化版のGGUFフォーマットで提供され、ビジョンプロジェクターと合わせてGPUにオフロードされます。--jinjaフラグによりGemmaのネイティブツール呼び出し機能が有効化され、キーワードマッチングではなくモデル自身が視覚の必要性を判断する仕組みです。
導入手順はシステムパッケージのインストール、Python環境の構築、メモリの最適化、llama.cppのビルド、デバイスの設定、デモの実行という6ステップで構成されています。8GBという限られたメモリを最大限活用するため、スワップの追加やDocker・不要プロセスの停止といったメモリ管理の工夫も紹介されています。
テキストのみで試したい場合は、NVIDIA公式のDockerイメージを使ったワンライナーでの起動も可能です。ただしDocker版はビジョンプロジェクターを読み込まないため、VLAデモのフル機能は利用できません。エッジデバイス上でマルチモーダルAIを手軽に体験できる実践的なチュートリアルとなっています。