「Magic Leap」を使ったMR開発レポート 〜焼きそばパンをMR化するまで〜
- 2020年3月3日
- 読了時間: 5分
更新日：2月4日
昨今様々な分野で注目を集め始めているMR。 既にARやVRなどは、ゲームやアミューズメント施設、さらには製造現場などで活用されており、生活に浸透していると言えるでしょう。
一方MRはこれからの活躍が期待され、デバイスのアップデートや開発事例が出てきています。 テックファームでは昨年、MRデバイス「Magic Leap 1」を用いて、いくつかの視点でMR開発を行なってみました。
そこで今回は、「焼きそばパン」をMR化してMagic Leap 1越しで見れるようになるまでの一連の開発の流れをレポートしていきます。
＜目次＞
そもそもMRとは
MRはMixed Realityの略で、日本では「複合現実」と訳されています。
レンズを通して現実空間を見ることで、その空間の中に仮想の物体が3Dで投影され、その映像を自身の手で操作できる技術です。現実空間に仮想の世界がリアルに融合し、新しい世界を演出することが可能です。
このMRは複数人で共有することができることも特徴です。仮想世界はもちろんのこと、現実空間も共有できるので、離れている複数人が同じ空間を見て体験することができるのです。
MRの応用活用で何が実現できるのか
MRは現在はゲームやエンターテイメント用途で活用されているケースが目立っていますが、今後、ビジネス活用も期待されています。ビジネスへの応用活用として、大きく2つの用途が考えられます。 まず一つ目は、シミュレーションです。現実空間の中に仮想空間を重ねることで、目の前に対象のモノや空間がなくても、あたかもそこにあるかのようにすることができます。例えば、製造現場で製品を確認する際には試作品をまず作る必要がありますが、MRがあれば試作品を作らずにシミュレーションで確認ができます。建設現場も同様で、建設する前に仮想空間でチェックが可能になります。他にも、シミュレーションで現場のトレーニングが可能になったり、まだ実物が出来上がっていない作品を展示して見せるということも可能になります。 もう一つの用途として、業務のサポートが挙げられます。見ている空間を共有できるという特徴を活かして、遠隔で実物と同じものを立体的に見て、監視したり的確な指示を出したりすることを可能にします。
MRデバイス「Magic Leap 1」の紹介
MRデバイスは現在いくつかの種類が存在しますが、今回試したのは「Magic Leap 1」。
グーグルやアリババなど様々な企業やファンドからの出資を受けているMagic Leap社が提供しているもので、2018年から提供開始されています。ただし日本国内では2020年2月現時点ではまだ販売されていません。昨年資本・業務提携をしたNTTドコモが今後販売をしていくことが予想できます。
このMagic Leap 1は、ゴーグルのようなヘッドセット「Lightwear」、ヘッドセットと繋がっている円盤型のユニット「Lightpack」、コントローラーの3つで構成されています。Lightwearにはカメラとスピーカーが搭載されていおり、重さは316gと軽量です。Lighpackにはプロセッサとバッテリーが入っており、RAMは8GB、ストレージは128GB、そして3.5時間連続使用が可能となっています。
Magic Leap 1のOSは「Lumin OS」というもので、開発用ツール「Lumin SDK」が公開されています。
焼きそばパンをMRにしてみた！
では、実際にMR化していきます。今回はなぜか「焼きそばパン」を対象にしました。
まずはスマホで写真撮影
まずは焼きそばパンをスマホカメラで撮影していきます。様々なアングルで、枚数としては数10枚必要です。今回は64枚撮りました。
専用ソフトウェアで3D画像作成
撮った写真を今度は立体的に繋げていき、3Dオブジェクト化します。今回は弊社グループ会社ギャラクシーズの専用ソフトウェアを使って、以下のように立体化しました。
使っているのは「フォトグラメトリ」という、複数のデジタル画像から3次元モデルを作成する手法です。
従来、３Dモデリングを生成するためには、特殊な撮影装置を用意して画像処理に手間をかけなくてはならず、非常にコストが高くついていました。しかしギャラクシーズ社のソフトウェアは、それぞれの画像の特徴点を捉え、あとは自動計算するだけで、スマホで撮影できる小さなものであれば30分程度の短時間でモデル化を実現しています。
時計、革製品の小物、デジタルギアなどを、手にする前に様々な角度からチェックしたい場合などに有効かもしれませんね・・
実際に360度動かして見れる、3Dモデル専用ビューアでも確認してみてください。（ロードに少し時間がかかります）64枚の写真だけでこれだけリアルに立体的な表現ができます。
Magic Leap 1越しで見れるように
この3DモデルをMagic Leap 1越しで見ると、本当に焼きそばパンがデスクの上にあるかのように！
さらに湯気のアニメーションを加えて、現実の焼きそばパンよりも熱々で美味しそうな演出を加えました。
まとめ
いかがでしたでしょうか。今回は例として焼きそばパンとMagic Leap 1を使いましたが、MRの応用の仕方次第で業務の革新的な改善や新たなサービス提供に繋がります。 5Gが実用化され始めたこともあり、今後続々とMRの活用例が出てくるでしょう。新しいデバイスや技術のアップデートにはアンテナを立てながら、当たり前になってしまっている日常の課題を大きく変えるチャンスを見逃さないようにしたいものですね。
