出典：Hugging Face
詳細を読む
NVIDIAは10月20日、臨床の胆嚢摘出術の映像と手術ロボットの動作記録を学習し、器具操作に応じた映像をリアルタイム生成する研究用シミュレーターCosmos3-H-Dreamsを公開しました。臨床手術記録で学習し、運動入力をライブ制御できる初の生成型手術シミュレーターだとし、単一のRTX PRO 6000 GPUで対話動作します。
基盤には160億パラメータのCosmos3-H-Embodied-Nanoを使い、二本の器具の姿勢、把持、エネルギー操作など28次元の入力を処理します。学習映像は832×480画素で、動作を10Hzにそろえました。
長時間の連続生成では、教師モデルを将来72フレームまで学習させ、自己生成した履歴にも耐える生徒モデルへ蒸留します。四段階と二段階のノイズ除去モデルを別々に提供し、二段階版は画質と引き換えに速度を高めます。
FlashDreamsが低遅延の連続生成を担い、FadeMemが長時間実行で増える記憶領域を圧縮します。同じ初期画像でも操作列に応じて異なる術野を生成し、器具、組織変形、解剖構造の時間的一貫性を検査できます。
ただし、見た目の現実感は生体力学的な正確さの証明ではありません。NVIDIAは患者診療向けに検証済みのシステムではないと明記し、コード、モデル、データ、独自データへの適応手順を研究者向けに公開しています。