Lucida：室内動画を編集可能な3Dシーンに変換

公式動画は室内撮影からシーン再構成までを紹介しています。結果は分離できない一枚の表面ではなく、独立した物体メッシュで構成されます。デジタルツイン、シミュレーション、シーン編集に適した形式です。

情報量の多い視点を選び、複数の画像に写る同じ物体を対応付けます。参考画像、マスク、部分点群、3Dボックス、説明文を物体ごとの証拠として使います。

生成段階では遮蔽のない物体画像を作り、隠れた部分を補完した完全な3Dアセットへ変換します。

形状が自然でも配置は誤ることがあります。視覚言語モデルがレンダリング画像、点群の重ね合わせ、ローカル軸を確認し、具体的な姿勢編集を実行します。

変更後の結果を元の撮影と比較するループです。生成と配置を分けることで、初期段階から完全な幾何を要求しません。

部屋やreal-to-sim環境では、物体の識別、スケール、配置が同時に重要です。独立アセットなら、シーン全体を作り直さず家具を置換・移動できます。

商品、小物、キャラクター一体だけなら画像から3D生成の方が直接的です。背景が不要なら鮮明な被写体画像を用意してください。