スマホ動画1本を24方向に増やす 4DAnyoneは視点の組を毎回入れ替える

3行まとめ

• 手持ちのスマホ動画1本から、自由な角度で見られる人物を作ります
• 崩れの原因は、AIが1回に見渡せる情報量の上限だと論文は言います
• 参照画像の圧縮とグループの組み替えで一貫性を保ったと論文は報告しています

何が起きたか

浙江大学を中心とする9人の研究チームが、4D4D立体の形（3D）に時間を足したもの。動く立体だと考えると近いです用語集でこの語を見るAnyone という手法を arXiv に公開しました。入力は、手持ちのスマホで撮ったような動画1本だけです。手法は入力の人物を取り囲む複数方向の動画を作り、自由な角度で見られる立体データに変換します。

入力の動画は、カメラの画角も位置も分かっていなくて構いません。論文の図1は、被写体の周りに24方向の生成カメラを輪の形に並べています。ただし論文は査読前のプレプリントプレプリント査読を通る前に公開する論文の原稿用語集でこの語を見るで、報告された数値はまだ第三者の検証を受けていません。

なぜ難しい・何がすごいか

自由な角度から人を見るには、校正済みのカメラを並べた撮影設備が必要でした。評価に使う DNA-Rendering は、48台のカメラで撮ったデータです。スマホ1台では背中も横も写りません。

代わりに使われてきたのは、カメラの動きを指定できる動画生成AIです。論文は、この動画生成AIを数十方向まで増やすと方向ごとに見た目がズレると指摘します。服の色も体つきも合わなくなります。

論文は崩れの原因を、AIが1回の計算で見渡せる情報量の上限に求めました。上限を超えた視点は、4つずつの組に分けて計算するしかありません。すると組同士は互いの絵を見られなくなります。

ここで見た目が崩れます。

たとえ話

正面から撮った写真1枚だけを見ながら、粘土で人の像を作ってみます。前から見た形は写真に合わせられます。横に回すと、輪郭も服の柄も想像で埋めた別人になります。

作り手が4人いて、それぞれ別の角度を担当したら、ズレはもっと広がります。4DAnyone は担当を毎回入れ替えて、作り手同士に互いの手元を見せます。

用語ミニ辞典

• 4D: 立体の形（3D）に時間を足したもの。動く立体だと考えると近いです
• Gaussian Splatting: にじんだ小さな粒を空間に無数に置き、その集まりで形と色を表す方法。描画が速いのが特長です
• 拡散モデル: ノイズだらけの画面からノイズを少しずつ取り除いて絵や動画を作るAI。序盤で大枠、終盤で細部が決まります
• 単眼動画: カメラ1台で撮った動画。複数台を同時に回す撮影と区別して呼びます
• プレプリント: 査読を通る前に公開する論文の原稿

技術者向けの深掘り

論文は、組分けで生まれる2つの詰まりを別々の仕組みで塞ぎました。

• Reference Context Packing: 生成済みの参照ビューを固定長のトークン枠に詰める。Wan2.2 標準の patchify の kernel/stride (1,2,2) に対し、RCP は (1,2r,2r) を使う（r は 2 と 4）。参照文脈の計算量が O(N) から O(1) に落ちる
• Target Context Routing: 目標視点を4視点ずつの組に切る。高ノイズ側ではステップごとに循環シフトして組み直し、大枠の構造を組の間に流す。低ノイズ側では隣接視点の組を固定して細部を締める。切替点は t_s/T = 0.2

骨格の条件づけは z バッファ付きでラスタライズし、体の前後の重なりを解消します。使うのは Goliath の308点から選んだ40点です。顔の238点と指の30関節は落としました。

ベースは Wan2.2-TI2V-5B です。推論は20ステップです。

DNA-Rendering の16視点・98フレームで測った生成動画の一貫性は PSNR 24.33 でした。著者らが同じ条件で追加学習した ReCamMaster は 21.47 です。

これは自分に関係ある？

• 動画やVRが気になる人: スマホ動画1本から、回して見られる人物データを作る方向に進んでいます。数値は査読前のものです
• 開発者: 長い入力を分けて処理するとき、分け方をノイズの段階ごとに変える手が使えます。映像生成の外にも通じます
• 撮られる側: 論文自身がなりすまし動画と肖像の悪用の危険に触れ、合成物だと明示することと本人の同意を取ることを求めています