2025年の年初からリリースされたMeta社の「パススルーAPI」が開発者達から注目を集めています。
これまでMeta Questでアプリを開発してきたエンジニアにとっては念願のこの機能…
今回はパススルーAPIについてできることや、どんな使われ方をするのか、今後どんなソリューションを生み出していくのかを解説していきます。
パススルーAPIとは
「パススルーAPI」はMeta Quest3などのQuestシリーズの外部カメラ映像をアプリ開発者が、より自由に活用できる新しいAPI です。
デバイスの外部カメラの画像を直接取得することが可能になり、アプリ内で背景として使用する以外の利用ができます。ここで言う背景とは、「アバターやその他のゲームオブジェクト、UIなど、描画されるべきデジタルコンテンツが何もない位置に描画されるもの」のことを指します。
APIとは
APIとは端的に言うと「誰かが用意してくれた他のアプリやプログラムの機能を使用するための”接続口”」のことを指します。
今回の場合、Meta社が用意してくれた機能を各アプリ開発者が自分のアプリの中で自由に呼び出して使えるようになったという意味です。
従来のパススルーとは
一般的に「パススルー」とは、MetaQuestなどのヘッドセットの外部カメラが映した現実世界の映像をディスプレイに表示することで、あたかもヘッドセットを透過（pass through）して現実空間を直接見ているかのような体験を提供する機能を指します。
これまではデバイスの外部カメラが取得する画像をアプリの背景にリアルタイムで表示しつつ、開発者が用意したデジタルコンテンツをそのアプリ内で表示することで、あたかも現実空間にデジタルコンテンツが実在するかのような混合現実（MR）体験を提供していました。
関連記事 MR（複合現実）とは？VRやARとの違いや業界別MR導入事例を解説
これまでのパススルーとの違い
今回リリースされたパススルーAPIは、これまで不可能だった「デバイスの外部カメラから画像データを取得し、自分たちが開発するアプリの中で自由に利用することを可能にする機能」となっております。
MetaQuest3などのデバイスに触れたことがある方でしたら、「これまでもこの機能は実装できてたんじゃないの？」と疑問を持たれるかもしれません。
確かに開発者はMeta社が用意してくれている開発キットの機能を使ってパススルー機能を利用することができていました。しかしそれは従来のパススルーについて説明されているような、アプリの背景としてのみの使用に限定されていました。
今回リリースされた機能が使えることで、これまででは実現不可能だった画期的なソリューションの開発が可能となってきます。
パススルーAPIでできること
パススルー映像の加工や編集が可能
カメラ映像にフィルターをかけたり、特定の色や物体を強調したりすることが可能になります。
現実空間の何かを別の何かに置き換えたり、消したりといったこともできます。
AIと組み合わせた応用が可能
オブジェクトトラッキング（現実空間の物体検知）が実装できるようになります。
オブジェクトトラッキングの流れ
- 現実空間のオブジェクトを3Dモデル化し、あらかじめAIにオブジェクトの形を学習させておきます。
- アプリ使用時にデバイスのカメラから取得した画像からAIがオブジェクトを検知し、位置や向きを把握してアプリ内でオブジェクトの情報を利用できるようになります。
検知したオブジェクトの位置に矢印を表示してどこにそのオブジェクトがあるのかを分かりやすくしたり、オブジェクトの横に操作マニュアルなどを表示してユーザをサポートしたり…といった使い方ができます。
より高精度なオクルージョン（遮蔽表現）
MRアプリでは、”仮想オブジェクトを現実世界の物体の前後に正しく表示する”こと「オクルージョン」が重要です。
これまでもオクルージョン機能自体は存在していましたが、事前にデバイスに環境情報を登録していた家具類、壁・床・天井などの部屋のオブジェクトしか検知できない為、登録していない部屋では機能を使用できませんでした。、また、登録済みの部屋でも新しく設置した家具はオクルージョンされず、家具の位置を移動させたりすると変な位置でオクルージョンされて、正しい位置ではオクルージョンされない…といったことが起こっていました。
新しいパススルーAPIを活用すれば、事前にデバイスに環境情報を登録したりしなくてもデバイスから取得した画像から、AIが現実世界のテーブルや棚、椅子などを正確に検出し、仮想オブジェクトが自然に見えるようにリアルな遮蔽表現を用いて描画し、より自然で没入感の高いMR体験を実装できるようになります。
以下の画像でもわかるように、デジタルなキャラクターの手前にテーブルがある場合は、テーブルの後ろにキャラクターが隠れて表示されるます。
パススルーAPIの活用例
パススルーAPIを活用することで、下記のようなソリューションが実装可能となると考えられます。
MRマニュアル・取扱説明書
先述で解説したオブジェクトトラッキングの要領で現実空間の電気工具などのオブジェクトを検知します。
オブジェクトの位置・向き・形を把握できている為、次に押すボタンや引くレバーの位置などを認識して矢印等のUIで使い方をガイドするといったユーザーサポートが可能です。
遠隔エキスパート支援
エンジニアやベテラン医師が遠隔から現場の作業者や医師の業務を支援する際に、リアルタイムで現場映像を活用できます。
現場作業者がMetaQuest3を装着し、彼らの視界情報であるMetaQuest3の外部カメラの画像をエキスパート人材にリアルタイムで共有することができます。
支援者が表示されている映像に直接マーカーで印をつけたり、あたかも同じ現場にいて直接指示をしているかのように指導やサポートが可能となります。
遠隔支援での注意点
実現したいことによってはMetaQuest3の画質やトラッキング精度では要件を満たさない可能性があります。特に人命に関わるような作業の場合、実際の導入をご検討の時はデバイスの選定含め、実現を検討する必要があります。
装着者の業務内容をAIに学習させる
MetaQuest3は視界情報である外部カメラ画像以外にも手の位置やポーズの検知をするハンドトラッキングなど、ユーザー自身の情報を取得するのに優れています。
MetaQuest3は視線の検知であるアイトラッキング機能は使用できませんが、アイトラッキング用の外部デバイスをセットすれば、ユーザーが作業中にどこに視線を向けているかの情報も取得可能です。
参考：https://www.uploadvr.com/japanese-engineer-making-quest-3-face-eye-tracking-addon/
装着者の作業内容を大量に取得してAIに学習させることで作業モデルを構築させます。
実際に、Meta社の先端研究事例ではXRデバイスを装着した人間の作業データを元にヒューマノイドロボット用の作業モデル構築するケースが出てきています。
パススルーAPIの課題と制約
ここではパススルーAPIの課題と制約について解説していきます。
プライバシー問題
外部カメラ映像を利用するため、ユーザーのプライバシー保護が重要となります。 映りこんでしまった周囲の人々のプライバシーにも配慮が必要です。
Meta社もAPIの利用には制約を設ける可能性があるので、実際にソリューションを構築する際はそういった制約を踏まえた仕様・設計にする必要があります。
処理負荷
カメラ映像のリアルタイム処理はGPU・CPU負荷が大きいため、最適化が必要となります。機能的には実装できることでも負荷的に実装できないことも出てくると考えられますので、事前検証が必要です。
互換性
Quest 3以降のハードウェア向けのAPIとなる可能性があり、古いデバイスでは利用できない可能性があります。これは要検証となります。
まとめ
これまでユーザーのプライバシー保護の観点から、なかなかプラットフォーム側が開放してこなかった外部カメラ画像へのアクセス機能がついに解放されたことで、これまでは実装が難しかった画期的なソリューションの実装が行えるようになる一方で、ユーザーやその周囲にいる人のプライバシーをいかに守っていくか？といった新たな課題とも向き合っていく必要があります。
