フォトグラメトリー（ObjectCapture）を使って3Dモデルを作ってみた

現在の所、3Dコンテンツを作るには特殊な技術や莫大な費用がかかるのが当たり前ですが、iPhoneで写真撮影をするだけで簡単に3Dモデルが作れる「ObjectCapture」がAppleから発表されました。 今回は本当に簡単に3Dモデルができるのか、ObjectCaptureAPIをつかって3Dモデルを作ってみました。

ObjectCaptureとは

2021年6月8日、AppleのWWDC2021基調講演で OSの最新アップデートであるmacOS Monterey、iOS 15、iPadOS 15 が発表されました。その中で開発者向けのフォトグラメトリを使用した3Dスキャンテクノロジー「Object Capture」の情報が公開されています。 https://developer.apple.com/jp/augmented-reality/object-capture/ ※現状はまだ開発者向けの技術ですがいずれはiPhoneだけでもっと身近にできるという未来を作ってくれるはず！ iPhoneで撮影した写真をObjectCaptureAPIを使って簡単に3Dモデルが作れるということで、先日紹介したNrealのコンテンツとして使えそうなので早速試してみました。

実際に3Dモデルを作ってみた

用意したもの

・iPhoneX

 （基調講演ではLiDARを搭載している端末で深度データを正確に計測することによりスキャンした撮影対象物の実寸を計測との話がありましたが、実寸を気にしないのであれば撮影はできるようです）

 ・Mac book air ※M1チップモデル （M1チップ搭載機種でないとObjectCaptureAPIが動かないとのこと） ・macOS MontereyとXcode 13

・回転台 （撮影するものを乗せて回す）

・三脚 （iPhoneを固定して撮影するために使う。回転台を使う場合は三脚を使うほうが好ましいとAppleからの推奨）

・Apple純正のイヤホン （シャッターを押す時に揺れが発生するのはNGと書いてあるので、イヤホンのボリュームボタンを利用してカメラAPPのシャッターを切るのに使う）

現場の状況はこのような感じです。 一昔前の3Dモデル撮影機器とは比べ物にならない気軽さです。

実際に撮影してみる

撮影に適さないものとして「動く物」「非常に薄い」「反射率が高い」「透明」「半透明」と記載がありました。 https://developer.apple.com/documentation/realitykit/capturing_photographs_for_realitykit_object_capture/ 基調講演でスニーカーがサンプルとして使われていたので、今回はスニーカーを撮影してみます。 撮影の手法は２種類、今回はBを採用しました。

A：撮影対象物を中心に、様々な角度と様々な高さから撮影をする

B：撮影対象物を回転台にのせ、写真を撮影しながら撮影対象物を回転させる。

撮影方法にもルールがあり、撮影した画像のオーバーラップ（重なり）が必要で、70%以上重なる用に撮影すること記載があるので、1周を30枚〜40枚程度で撮影することを意識。平面的に取るのではなく様々な角度で撮影する必要があります。

出典：Apple

写真の画像品質が変わるとか重なる部分の判定ができなくなるとのことなので、撮影時には「ズーム」「絞り」「シャッタースピード」「ISO」を変えないって書いてありましたが、iPhoneのカメラでそんな設定ありましたっけ、、、、ということで今回はスルーしました（笑） この状態で、上記の図の用に対象物を回転させながら、複数の角度で撮影していきます。

データをObjectCaptureAPIに投げる

撮影した画像をAirdropでMacbookairに連携（さすがにApple製品の連携は便利！）。フォルダーにまとめて、ターミナルでサンプルコードを使ってフォルダを指定することでObjectCaptureAPIが動き出します。 撮影枚数にもよりますが5分〜10分程度でモデル生成が完了。 ObjectCaptureAPIに投げてエラーで止まることがたまにありました。 エラーの原因は何も出ないので推測になりますが「光が足りない」「70％のオーバーラップが満たされていない」等の理由が推測されるので、再度撮影をする必要があったので、撮影の際は注意が必要そうです。 そして完成した3Dモデルがこちらです。 iPhoneだけで作ったとは思えないほど、ディティールも精細です。

https://www.youtube.com/watch?v=Dh8z8YiGDHE

技術の活用が見込まれるシーン

ここまで物体を3Dモデル化する方法をご紹介してきましたが、この技術はどのような場面で活用するのでしょうか？ 具体的な利用シーンをご紹介いたします。

XR（AR・VR・MR）上でのデジタルコンテンツ

以前こちらのブログでご紹介したNrealというMRデバイスなど、XRサービス上で非常に活用が期待されます。

例えばMRは現実世界にデジタルコンテンツをミックスするという技術ですが、そのデジタルコンテンツは、今回ご紹介したオブジェクトキャプチャを使って作成することができます。Nrealのブログでは、椅子やソファーが登場しますが、そうしたものを3Dコンテンツ化する際には、オブジェクトキャプチャが便利です。

今後MRを使ったサービスが充実していくと、必然的にデジタルコンテンツの量も増加するでしょう。専用の機材を必要とせず、iPhoneとPCだけで3Dデジタルコンテンツが制作できるのは非常に魅力的です。

ECサイトでの活用

アマゾンやユニクロのECサイトで「360°」というような表記があり、商品をぐるっと一周見られるのをご存知ですか？自分の好きな角度で商品を見ることができ、非常に便利な機能です。実は今回ご紹介した3Dモデルとは少し違いまして、あくまでも「360°」ぐるっと一周同じ目線の高さからしか見ることができません。

Amazonでの一例はこちら

しかし今回ご紹介した3Dモデルは、縦横斜め、自分の好きなように3Dモデルを動かすことができます。つまり、本当に自分の見たい角度から商品を見ることができるのです。

実際に店舗に行けば、商品を手に取り、見たいポイントをじっくりと見ると思いますが、それと同じようなことがネット上で可能となり、より高い顧客体験のもと、購買率の向上が期待されます。

さらに今後爆発的な成長が見込まれるのがメタバースの世界です。 先日、ファストファッション大手のH&Mがメタバース上での店舗をオープンさせ話題となっています。

https://www.youtube.com/watch?v=QpdzaBvD0iI

ここまでの世界を作り上げるのには多額のコストがかかりますが、Nrealを使ったMRの世界に、フォトグラメトリで作成した3Dモデルをミックスさせることで、比較的簡単に同じような世界観が実現できるでしょう。

思い出の品をデジタルコンテンツとしてアーカイブする

思い出の品を3Dコンテンツ化して、デジタル空間上にアーカイブするという使い方もありそうです。今回は社員のお子様の力作！？を3Dコンテンツ化してみました。こういう作品って、物置の奥から久しぶりに引っ張り出してみると楽しいという記憶はありませんか？

もしデジタル化して、いつでもスマホ上で見られるようになったら、それはとても便利ではないでしょうか。

まとめ

今回は比較的手軽に3Dモデルを作る方法をご紹介いたしました。まだ開発者向けのサービスではあるものの、近いうちに一般消費者の手が届くサービスになることは間違いないでしょう。「メタバース」というワードもバズワードとなり、一気に身近になりました。こうした仮想空間上での3Dモデルの需要は今後高まる一方であり、今回ご紹介したような技術やサービスが多数出てくると予想されます。 テックファームでは今後も、こうした先端技術の研究に注力し、みなさまに最適なソリューションを提供していければと考えております。 ※本ブログの続編もございます。ぜひこの機会にご覧ください。 【続編】フォトグラメトリー（ObjectCapture）を使って3Dモデルを作ってみた

#15#EC #XR #エンタメ #顧客体験