静止画からAIの力で3Dっぽい動画を作る(3D-Photo-Inpainting.ipynb)

ちょっと前にGigazineで記事になってたこちら。
「画像から簡単に精巧な3D写真が作成できる論文が公開される、実際に3D写真を生成することも可能」

RGBに「奥行き(Depth)」情報を加えた「RGB-D」画像から、立体的な写真である「3D写真」を生成する方法を研究者チームが提案しています。たった1枚の写真から精巧かつ立体的な3D写真が手軽に生成可能ということで話題になっています。
論文で発表した技術を駆使することで、オリジナルの写真から複数レイヤーを含む奥行きを演出可能な3D写真を生成できます。基本的な原理としては、テクスチャーと奥行き情報を持つ前景・背景レイヤーから構成されるLayered Depth Image(LDI)と、空間状況に応じた方法で新しく画像のピクセルごとに色および深度情報を繰り返し合成していくことができる学習ベースの画像補間モデルを使用しているとのこと

https://gigazine.net/news/20200417-3d-photography-layered-depth-inpainting/

やり方はリンク先を見てもらえればスクショ付きでよく分かると思うので、省略です。思ったよりも簡単です。時間はかかりますが。
登録するファイルはJPG。拡張子がjpegとかだとだめですので気をつけてください(わからなくてハマりました)
あと初期設定ではmoon.jpgというアポロの宇宙飛行士の画像が登録されてますけど(imageフォルダ内)、最初の動作確認以外は消しちゃっていいかと。(入ったままだと、こちらもレンダリングされてしまって余計に重いです)

そんなわけで試してみたのがこちら。静止画から動画、なかなか面白いですよね。

とはいえ、こちらの処理だけだと、カメラの動作は4種類しかありません。画像は変わってもカメラの動きは一緒です。なのでこういった奥行きのデプスデータをAfterEffectsに持っていってやったらいけるんじゃね?ってことでやってみた。

もととなる画像はこちら。これを先程の3D-Photo-Inpainting.ipynbにぶちこんで深度データをAIで生成してもらいます。

こんなのが出来上がりました。これをAfterEffectsにいれてカメラアニメーションしてみます。

せっかくなので雪を降らしてみる(笑
ストックが折れたりしてるけど、それなりに面白い感じに。ちょっといろいろ研究してみようかな。

Leave a Reply