NeRFとは？仕組みや効果的な活用例をとともに解説

昨今ECサイトでは3D画像を挿入し、よりリアリティーのある商品の理解ができるサイトが増えてきています。これにより新たな顧客体験の向上が期待でき、返品率の低減にも繋がる可能性もあります。

他にも3D技術を用いたイベントや商業施設も増加し、今後もXR市場はますますの拡大が見込めます。

本記事では、3D画像生成技術の一つであるNeRFについてご紹介します。どのような仕組みなのか、活用例もあわせて解説していきます。

これまでの3D技術よりもリアリティのある画像を再現することができるNeRFは、画像ではなくシーンやデータと表現されることも多く、ビジネス活用も期待されています。自社のサービスでの活用のヒントとして、ぜひご覧ください。

NeRFとは

NeRFはNeural Radiance Fieldsの略です。ニューラルネットワークを用いて、複数の写真から3Dシーンを生成する技術を指します。2020年3月にカルフォルニア大学バークレー校の研究員より発表されました。

NeRFはまだ発展中の技術で実用が難しい課題も多くありますが、幅広い分野で活用できる可能性があります。特に、VRやARでの利用に適していると言われています。

NeRFの仕組み

NeRFはいろいろな角度から対象を捉えた画像データから深層学習（ディープラーニング）を用いて、三次元形状を復元する仕組みです。複数の地点の位置情報をもとに、撮影した写真から生成しますが、深層学習を用いるため、撮影されていない地点の写真は予測をして生成します。よって、様々な角度からでも高精度な対象物を確認することができるのです。他にも、空間の透明度も予測をして生成するため、反射や屈折などを含むシーンでも再現します。

既存の3D生成技術では、フォトグラメトリというものがありますが、反射や屈折などのシーンの生成が難しく、この点ではNeRFが高く評価されています。

関連記事　フォトグラメトリとは？作成方法とメジャーなソフト9選

NeRFのメリット

NeRFには複数のメリットがあります。それぞれ紹介していきます。

背景画像を活用できる

NeRFの技術によって背景画像の作成が可能です。背景画像も含め、データを取り込み生成する技術のため、複数の写真の背景データから3Dの背景を作成することができます。背景も含めて撮影を行えるため、撮影場所を問わず、屋外でも撮影が可能です。

細かい表現ができる

NeRFは細かいものも再現できます。既存の技術のフォトグラメトリでは、以下のものが生成するのに苦手とされています。

• 透明なもの
• 反射するもの
• 単色なもの
• 同じ模様で連続しているもの
• 形状が細かく折り重なるもの
• 形状を固定できない自立できないもの（液体など）

NeRFではこれらのものでも生成が可能で、人の指先や布の揺れなど、細かいものまで生成します。

撮影スキルが必要ない

NeRFは大量の画像データから3Dデータを生成する仕組みでした。そのため、ピントが合わずぼやけた画像などでも複数取り込むことで、計算から3Dデータを生成できます。手ぶれを心配することなく撮影できるため、難易度の高いスキルや知識などはあまり必要とされていません。

代表的なNeRFのサービス

代表的なNeRFのサービスの概要をご紹介します。これまで主に研究者がNeRFを利用していましたが、サービスの登場により、研究者以外の人でも簡単に試すことができるようになりました。

Luma AI

Luma AIはiOSとパソコンで使用できるNeRFサービスです。使い方は、物体を360度撮影し、そこから3Dデータを生成するというものです。生成した3Dデータは、複数のデータ形式で出力できます。撮影中もガイドに沿って操作ができ、無料で使用できるので、誰でも簡単に試せるサービスです。

nerfstudio

nerfstudioはNeRFの作成や学習、可視化を簡単に扱えるツールです。スマホで動画を撮影し、そこから3Dデータを生成します。ブラウザ上で操作を行いますが、Dockerのインストールをして環境構築から行う必要があり、先に紹介したLuma AIより知識を要します。

NeRFの活用事例

次にNeRFの活用事例です。これまで説明した通り新しい技術のため、いろいろな業界で実用化されるのは今後のことですが、早くも実用化している企業もあります。それぞれ紹介していきます。

McDonald’s & Karen X Cheng- Lunar New Year 2023

2023年1月、アメリカのマクドナルドがテレビCMにNeRFを用いた広告キャンペーンを放映しました。テレビCMにNeRFを用いたのはこれが世界初です。映像としては、いろいろな視点からカメラを持ってグルグルと動きながら撮影したようなものになっています。

デジタルアーティストとして有名なKaren X. Cheng 氏が手掛け、旧正月を家族とマクドナルドで過ごした思い出のシーンと、現代の2023年に家族で旧正月を祝うシーンを、NeRFを用いて制作されています。
360°撮影では視点を移動させることはできず、フォトグラメトリだと詳細な表現をするのに多くの労力がかかります。そのため、McDonald’s & Karen X Cheng- Lunar New Year 2023はNeRFの技術ならではの映像に仕上がっています。

参考：McDonald’s LNY ’23 – Karen X Cheng

「NeRF」を使用した名古屋の観光地紹介旅コラム

ビッグホリデー株式会社は2023年7月25日にNeRFを使用した名古屋の観光地紹介旅コラムを公開しました。具体的には、名古屋の4スポットの動画をNeRF技術によって制作しています。ビッグホリデー株式会社は3Dデータを作成するために、現場で数千枚単位の写真を撮影しました。広域な空間でも視点を自由に移動させて対象物を見ることができます。

NeRFによって生成された3D映像は臨場感があるので、実際に観光地に行って景色を見てみたいと感じさせる狙いがあります。また異なる時間帯、天候、季節などの写真を撮影すれば、これらを組み合わせて切り替わっていく3D映像を作成することも可能です。

参考：＜業界初※＞最新のAI技術「NeRF」を使用した観光地紹介旅コラム“一日で名古屋を満喫！ワンデートリップで「名古屋の魅力を再発見」”を7月25日に公開

Googleマップ「イマーシブビュー」

Googleマップは2023年にイマーシブビューという機能を追加しています。イマーシブビューは通常の写真を3Dデータに変換してユーザーに見せる機能です。イマーシブビューを見ることでユーザーはその場所の状況をより正確に把握し、訪れた際のイメージができます。AI とコンピューター ビジョンの進歩を利用し、数十億枚のストリートビュー画像と航空写真を組み合わせて再現されています。

そしてこのイマーシブビューにはNeRFの技術が用いられています。イマーシブビューは屋外にも屋内にも使用されているので、店舗の中をイメージするのにも役立ちます。実際にその場所には足を運ばず、イマーシブビューで観光を楽しむという使い方もあるでしょう。他にも時間帯によって変わる、見える景色や周辺の様子を切り替えて見ることができます。

現状はイマーシブビューが利用できるエリアは東京、ロンドン、ロサンゼルス、ニューヨーク、サンフランシスコなど限定的ですが、今後はエリアがより拡大されていく予定です。旅行者も初めて訪問する分かりづらい場所でも、よりリアルな3Dデータで確認できるメリットを提供しています。

参考：Google マップがより直感的に

まとめ

NeRFは2020年に概念が誕生した新しい技術で、実際に開発や実用化が進んだのはそれよりも後です。つまりここ数年で目にする機会が少しずつ増えた技術ということです。

NeRFは2Dのデータを取り込んでそこから3Dデータを生成する技術です。360°撮影のように視点を固定したデータを作るのではなく、いろいろな角度から視点を変えて見られる3Dデータを生成する点が大きな特徴です。

画像を楽しむ目的だけでなく、今後は企業による実用化も進んでいくでしょう。現在は観光業やエンターテイメントで楽しまれているシーンが多いですが、今後技術が進歩すれば、簡単に3Dデータを用いたビジネスシーンでの拡大が期待できます。