【ファミリーDayレポート】Meta Quest 3で金魚すくい＆3Dモデル生成を体験

9月某日、テックファームでは家族を社内に招待する「ファミリーDay」を開催しました。
社員のお子様だけではなく、両親、兄弟が集まる会となりました。

今回のファミリーDayでは、IT企業らしく、弊社で取り扱う先端技術を家族の方にも知っていただく機会を作るため、イベントの中に「MRデバイス”Meta Quest 3”を活用した金魚すくい体験」と「3Dモデル生成体験」を用意しました。

本記事では、その「Meta Quest 3で体験する金魚すくい」と「３Dモデル生成」について技術的な解説をしていきます。

また、実際に体験してみた感想や、技術的な工夫ポイント等にも触れていきます。

＜目次＞

Meta Quest 3で体験する「金魚すくい」
・運営スタッフの感想

「金魚すくい」の技術要素解説
・Meta Quest 3とは？
・Meta Quest 3の6つの特徴
・金魚すくいで活用した技術

3D Gaussian Splattingを活用した3Dモデル生成体験

「3Dモデル生成」の技術要素解説
・3D Gaussian Splattingとは？
・3D Gaussian Splattingの3つのメリット

イベントの感想

Meta Quest 3で体験する「金魚すくい」

今回のファミリーDayで用意した金魚すくい体験は、Meta Quest 3を装着することで、MR(複合現実)アプリを活用して実現しました。

Meta Quest 3を装着すると、デバイス越しに目の前の現実空間に大きな仮想水槽（球体）が現れます。水の球体の中には3Dの金魚のオブジェクトが自由自在に何匹も泳いでいる映像を見ることができます。

金魚すくいの画面で両手を目の前に出すと手元に桶とポイが現れるので、手を握りグーの形にして、ポイならびに桶に近づくと持つことができます。

３分間の制限時間の中で、10匹すくう毎に難易度が上がる仕様になっており、競争心が掻き立てられるゲームになっていました！

ポイは金魚と触れた場合や水の中にずっと入っている状態になると破れてしまい、破れた時点でゲーム終了となるため、子供は慎重になりながらも多くの金魚をすくうことに夢中になっていました。

運営スタッフの感想

お子さんの反応は様々でしたが、基本的に楽しんでくれていました。中には、MRを装着するのが少し怖いと感じる子もいました。ほとんどの子は、説明をした後やりたいと手をあげて楽しみにしてくれてました。

Meta Quest3を装着するのは私たちスタッフがお手伝いしたのですが、大人もつけるようなものなのでお子さんには大きく、少し難航しました。揺れたり装着がうまくいかないと気になる子が多かったです。

装着すると、金魚が見えて楽しそうだったり、MRなのでご家族が見えて、「ママが見える〜」って言ってる子もいました。笑

ゲーム中は真剣に取り組んでいました。ポイと桶を掴むのが少し難しくて苦戦している子もいましたが、みんなコツを掴むのがうまく、どんどん金魚を取ってました。子供でも簡単に直感的な操作でゲームが楽しめる仕様になっているようでした。
金魚がいる水槽が球体なのもあってくるくる回って金魚を追いかけているのが可愛らしかったです。

3分間の体験で40匹以上金魚がすくた子もいて、ゲームとしても大満足の結果となっていました！

「金魚すくい」体験の技術要素解説

本章では、Meta Quest 3の特徴や、この金魚すくいで実装した技術について解説していきます。

Meta Quest 3とは？

今回、金魚すくいで利用したXRデバイスは「Meta Quest 3」でした。

Meta Quest 3は2023年10月にMeta社がリリースしたVR/MRヘッドセットです。Meta Questシリーズの第3モデルです。

アロン型のデバイスで、PCやスマートフォンに依存せずスタンドでVR/MR体験が可能です。

Meta Quest 3の特徴は、従来のモデルよりも大幅に向上したパフォーマンスと快適性です。最新のQualcomm Snapdragon XR2 Gen 2プロセッサを搭載し、処理速度やグラフィックの質が飛躍的に向上しています。また、解像度の高いディスプレイを採用しており、よりリアルな映像をお楽しみいただけます。

Meta Quest 3には高解像度のパススルー機能が搭載されており、現実世界をカラー映像として取り込んで表示することも可能です。これにより、現実の環境とデジタル要素を組み合わせたMR体験が実現できます。

Meta Quest 3の6つの特徴

Meta Quest 3は以下6つの特徴が挙げられます。

1.VR/MR対応（複合現実体験）
Meta Quest 3は、VR（仮想現実）だけでなく、MR（複合現実）にも対応しており、カメラを通じて現実の映像をヘッドセット内に表示できるカラーのパススルー機能を搭載。これにより、現実空間にデジタルオブジェクトを重ね合わせることができ、現実世界と仮想世界をシームレスに行き来できるMR体験を実現します。

特にMRアプリを使うことで、空間の制約を受けずに新たな体験が可能となっています。

2.パフォーマンスの向上
Meta Quest 3は、前モデルよりも大幅にパフォーマンスが強化されました。最新のQualcomm Snapdragon XR2 Gen 2プロセッサを採用することで、処理速度やグラフィックのレンダリングが大幅に改善され、複雑なVR/MR体験もスムーズに動作します。これによって、高品質なゲームやアプリケーションの体験が向上しています。

3.高解像度ディスプレイ
ディスプレイ解像度はMeta Quest 2よりも高く、よりクリアでリアルな映像を実現します。特に視野角が広く、細かなディテールまで鮮明に表示されるため、より深い没入感を得られます。

4.スリムで軽量なデザイン
Meta Quest 3は、Meta Quest 2に比べて約40％スリム化されており、デザインも洗練されています。軽量化に加え、頭にフィットしやすい改良されたストラップ設計により、長時間の使用でも快適な装着感を提供します。外観のスリム化と軽量化によって、持ち運びも容易です。

5.豊富なコンテンツ互換性
Meta Quest 3は、従来のMeta Quest 2用に開発されたゲームやアプリケーションとも互換性があり、Quest 2で購入したコンテンツをそのまま使用することができます。また、Meta Quest 3向けの新たなタイトルやアップデートされたアプリも続々と登場しており、ユーザーは幅広いVR/MRコンテンツを楽しめます。

6.空間オーディオ
Meta Quest 3は、3D空間オーディオに対応しており、音の定位感や臨場感が向上。これにより、音の方向を正確に感じ取ることができ、ゲームや映像での没入感をさらに高めます。

金魚すくいで活用した技術

今回、開発した金魚すくいデモでは以下の技術要素を活用しました。

・MR（複合現実）アプリ
・マルチプラットフォーム
・3Dマッピング
・VPS
・物理インタラクション
・Boidsアルゴリズム
・Unity

本章では、その技術要素について紹介していきます。

・MR（複合現実）アプリ
現実空間に仮想情報（水、金魚、ポイ）を重ねるアプリを開発し、リアル性のある擬似体験を提供しています。

・マルチプラットフォーム
各デバイスに応じた開発キットを利用し、デバイスそれぞれに向けた開発を行いました。デバイスごとの特徴を理解し、それに合わせた表現を行っています。

・3Dマッピング
現実空間の周辺環境や物（テーブル等）を、デバイスのカメラを通して点群データやメッシュデータとして取得し、利用しています。

・VPS
カメラで撮影した画像を用いて現在地を高精度に特定する技術を活用し、特定位置にオブジェクト（水たまり）を表示させています。

・物理インタラクション
仮想オブジェクト（金魚とポイ）が物質的に触れ合っているかのように見せるチューニングを行っています。

・Boidsアルゴリズム
動物が群れで動くアルゴリズムを活用し、衝突回避、個の移動速度の調整、群れの維持を実現しています。

・Unity
XR開発に使われるゲームエンジンを駆使し、それぞれのデバイス環境に合わせて短期間で開発しています。

3D Gaussian Splattingを活用した3Dモデル生成体験

3Dモデル生成体験では、添付動画のように360度55台のスマホカメラを配置した個室での写真撮影が行われました。

お子さんは、兄弟や家族と一緒にカメラの中心に立ち、各々好きなポーズで撮影が行われました！撮影時間は普段の写真撮影と同様のスピーディーさで、「３，２，１…パシャッ！」で１ポーズに対して3秒程度で終えることができ、小さなお子様でも問題なく楽しめる撮影会になりました。

出来上がった3Dモデルは通常の写真では見られない、背面部分が見られたり、ズームすることもできるため細かな表情、ポーズ、服のシワまでも鮮明に見られ、とても驚いた様子のお子様が多かったです。

家族写真の新しい形の思い出の1つとなったようです。

「3Dモデル生成」の技術要素解説

本章では、3Dモデル生成で使われた「3D Gaussian Splatting」の技術的な特徴について解説していきます。

3D Gaussian Splattingとは？

3D Gaussian Splatting（ガウシアンスプラッティング）は、2023年8月に発表された新しい技術で、これまで3Dコンテンツを作る手法として主に用いられていたフォトグラメトリ同様に3Dコンテンツを生成する技術の1つです。

この技術は、複数のアングルから撮影された画像データから3D空間を学習し、リアルタイムにレンダリングし3Dシーンを生成することができます。

ーフォトグラメトリとは？
フォトグラメトリとは、複数の写真を使って物体やシーンの3Dモデルを生成する技術です。

異なる角度から撮影された写真を解析し、物体の形状や寸法を計算してポリゴンメッシュという3D形状の表面を作成し、さらにそのメッシュにテクスチャ（表面の画像データ）を貼ってリアルな外観を再現しています。

関連記事：3D Gaussian Splattingとは？3D生成の技術を解説

3D Gaussian Splattingの3つのメリット

フォトグラメトリと3D Gaussian Splattingを比較したときに、3D Gaussian Splattingを使う際には主に以下3つのメリットが挙げられます。

・軽量な生成データ
・撮影時間/コストの大幅削減
・細部の再現度の高さ

本章では、これらのメリットについて詳しく解説していきます。

・軽量な生成データ

3D Gaussian Splattingがフォトグラメトリと比べて軽量な理由は、ガウス分布による効率的なデータ表現になります。この技術は、ポリゴンメッシュや詳細なテクスチャを必要とせず、各点をガウス分布でほぼ同様に表現することで、データ量を大幅に軽減します。

具体的には、フォトグラメトリでは、対象物の全ての面を撮影し、それらの写真を使って3Dモデルのポリゴンメッシュを構築し、その上に高解像度のテクスチャを貼り付けるため、データ量が膨大となる傾向がありました。

一方、3D Gaussian Splattingでは、シーンを構成するポイントをガウス分布を用いて表現することにより、物体やシーンの表面を精密なメッシュやポリゴンで描画する必要がなくなります。これにより少ないデータ量でリアルなモデルを生成でき、フォトグラメトリのように精密なメッシュ構造を大幅に必要としません。

・撮影時間/コストの大幅削減

撮影枚数はフォトグラメトリの技術では物によりますが130枚〜300枚程度必要でした。

しかし、3D Gaussian Splattingでは、50台のカメラで一括撮影をし、50枚のデータで3Dモデルを生成することが可能です。

そのため撮影時間も、3時間から5～10分に短縮され、大幅な時間短縮それに伴うコストの削減を可能にしました。

・細部の再現度の高さ

フォトグラメトリは、写真を元に3Dモデルを構築しますが、使用する写真の解像度やメッシュの密度に依存するため、細部を精密に再現するには大量のデータと時間が必要になります。

そのため複雑な形状では、フォトグラメトリでの処理は重くなる傾向があります。

一方、3D Gaussian Splattingでは、3D 空間内の各点をガウス分布で表現します。各点をガウスで分布近似するため、リアルタイムで高品質な 3D モデルを効率的に生成でき、細かいディテールも表現できます。特に、複雑な形状や動的なシーンでその優位性が発揮されます。

この技術により、これまでフォトグラメトリでは再現が難しかった透明なもの、反射するもの、単色のもの、同じ模様で連続しているもの、形状が細かく折り重なるものなども3D Gaussian Splattingでは実現することが容易となりました。