Google、対話で作る仮想世界「Genie 4」公開
出典:DeepMind公式
詳細を読む
Google DeepMindは11月18日、対話型仮想世界を生成・探索できる「Project Genie」の新体験を、対象となるGoogle AI Ultra契約者向けに提供し、世界モデル「Genie 4」を初公開しました。利用者は世界を歩きながら自然文で指示し、環境をリアルタイムに変えられるほか、展開に合わせた音声も生成できます。
Genie 4では、天候を変える、登場人物を加える、物語の進行を変えるといった編集を探索中に行えます。環境音から登場人物の会話まで、映像に合わせたネイティブ音声をリアルタイムで出力するのが特徴です。
従来モデルのGenie 3も選択でき、1回の生成で探索できる時間が最大60秒から3分に延びました。複数の世界をつなぐ機能、360度パノラマ画像を基にした空間生成、探索中の自然文指示によるイベント変更にも対応します。
新しいProject Genieエージェントは、利用者との会話を通じて世界の初期画像や背景音楽を組み立てます。Geminiモデルを探索中に使い、画面の状況に応じた次の行動を提案したり、世界内のイベントを起こしたりできます。作った世界はギャラリーで公開し、他の利用者が探索・編集できます。
Googleは生成された動画と音声にSynthIDの電子透かしを付け、入力と出力を安全性審査にかけると説明しています。一方、カメラ操作の遅延、複雑な物理表現、音声の精度、シーンの長期的な一貫性は研究課題として挙げています。