3DGSをApple Vision Proで動かすアプリを、非エンジニアがAIと10時間で作ってみた
- 6月30日
- 読了時間: 6分
更新日：7月22日
前回の記事（バーチャルショールームをモデリングなしで作る――TJMデザイン様と取り組んだ3DGS活用PoC）では、実物を撮影するだけでリアルなバーチャル空間が作れる3DGSの取り組みをご紹介しました。
今回は、その3DGSをApple Vision Proでどう体験させるかという、表示・体験レイヤーの話です。
そして、そのために必要な専用アプリを、エンジニアではないテックファーム開発部の企画職メンバーがAIと会話しながら約10時間で開発したという体験も、あわせてお届けします。
なぜVision Proで3DGSを見せたいのか
3DGSで生成したバーチャルショールームは、PCやスマートフォンのブラウザでも閲覧できます。それだけでも十分に価値があるのですが、Apple Vision Proで見ると、体験の次元が変わります。
ブラウザでは、画面の中に3D空間が映し出されます。一方Vision Proでは、目の前の現実空間に3Dが浮かびます。ショールームのデータなら、まるでそのショールームの中に立っているような感覚です。
営業デモや顧客提案の場で実際に体験してもらえば、印象はまったく別物になります。「写真や動画では伝わりにくい」という課題を、そのまま解決できるわけです。
ただし、使えるアプリがなかった
Vision Proで3DGSを「顧客に見せる」ための既製品アプリは、ほぼ存在しません。
あったとしても、ファイルを選んで表示するだけのシンプルなものや、特定データ専用のものがほとんど。営業デモや提案の場で使うためのUI・操作性・表示制御が整ったアプリは、自分たちで作るしかない状況でした。
そこで、AIコーディングアシスタント「Windsurf」を使い、開発に挑戦してみました。
AIと会話しながら、10時間で作った
開発の土台にしたのは、「MetalSplatter」という無償公開されているVision Pro向け3DGS表示ライブラリ*です。
*ライブラリとは：他の開発者が公開している「部品セット」のようなもの。ゼロから作らず、既存の部品を組み合わせて開発できます。
このMetalSplatterをベースに、Windsurfへの指示はすべて日本語で行いながら開発を進めました。私はエンジニアではなく、コードはほとんど書けません。伝えるのは「こう見せたい」という意図だけです。
実際のやり取りはこんな感じでした。
私：「ファイルを開くボタンと履歴ボタンを横並びにして」
Windsurf：（コードを自動修正）「ボタンを並列配置しました」
私：「3DGSモデルがメニューの右横に出るようにしたい。今は変な位置に出ている」
Windsurf：「表示座標を調整しました。メニューウィンドウの右横約80cmに表示されます」
技術的な実装はWindsurfが担い、私は「何をどう見せたいか」を伝え続けるだけ。気がつけば、10時間で動くアプリができていました。
▼Windsurfでアプリ開発。日本語にて指示→返答を繰り返していく。
完成したアプリの機能
メニュー画面
Vision Pro正面に表示される操作パネルです。
機能 | 内容 |
ファイルを開く | iCloud等から3DGSファイル（.ply/.splat等）を選択 |
履歴 | 過去に開いたファイルをワンタップで再読み込み |
自動回転 | モデルをゆっくり自動回転（商品展示に便利） |
メモリ節約 | 大きなファイルを自動間引きして軽量化 |
クリア | 3DGS表示を終了 |
3DGSの表示
ファイルを選択すると、Vision Proの現実空間にメニューの右横へ3DGSが自動で表示されます。モデルのサイズは自動スケールされるため、大きすぎ・小さすぎの問題が起きません。
ハンドジェスチャー操作
Vision Proの手認識機能により、3DGSを直感的に操作できます。
ジェスチャー | 動作 |
片手でピンチ → 移動 | モデルの位置を動かす |
両手でピンチ → 開閉 | モデルを拡大・縮小 |
両手でピンチ → 水平回転 | Y軸を中心に回転 |
苦労した点と、AIが解決してくれたこと
表示位置がおかしい
最初、3DGSが空間の意図しない位置（遠すぎ・床下など）に表示されていました。「右横に出して」と伝えると、AIが座標の計算方法を調べて修正。技術的な原因を理解していなくても、「こうなっていない」を伝えるだけで解決しました。
ジェスチャーの誤反応
片手で操作しているつもりが、もう片方の手の動きも拾ってしまうバグが発生。「別のウィンドウを操作しているのに3DGSが動いてしまう」という問題です。AIが「状態機械*という設計パターンで解決できます」と提案し、修正してくれました。
*状態機械とは：「今どの操作状態か」を明確に管理する設計の仕組み。誤作動を防ぐ定番の手法です。
AIにも「今は難しい」があった
「他のアプリのウィンドウを操作中は、3DGSが反応しないようにしたい」という要望は、現在の構造では根本解決が難しいとのことでした。AIは「次のバージョンで対応すべき課題」として整理してくれました。
できることとできないことを正直に示してくれるのも、AIとの作業で感じたメリットのひとつです。
この体験から見えたこと
今回、エンジニアではない自分がVision Pro向けアプリを作ってみて感じたのは、「やりたいことを文章で伝えられる人が、自分でプロトタイプを作れる時代になっている」ということです。
エンジニアが不要になる、という話ではありません。品質を担保した商用システムには、エンジニアの専門性が必要です。ただ、技術検証・営業デモレベルのものを自己完結で動かせる環境は、確実に整ってきています。
「試してみる」のハードルが下がったことで、アイデアを形にするスピードも変わってきそうです。
お客様の声
PoCを体験いただいたTJMデザインのご担当者様からは、以下のようなコメントをいただきました。
今回お見せ頂いたのが弊社のシステムキッチンだったので、それをVisionPro内で近づけたり遠ざけたりという動作そのものに現実離れする感覚を抱いてしまいましたが、ここに『水平方向には動かさない』などの改良が加わり、AR風に背景画像も入れ替えられたり、といった機能が加わってくると更に面白い体験が味わえるだろうことは容易に想像がつきました。
テックファームが提供できること
今回の取り組みを通じて、テックファームの3DGS活用は撮影・生成から、Vision Proでの没入体験まで一気通貫で対応できることが確認できました。
フェーズ | 内容 |
撮影 | 一眼カメラ・360°カメラ・ドローン |
生成 | 3DGSモデル化・品質調整 |
Web表示 | ブラウザ閲覧・CMS管理・iframe埋め込み |
Vision Pro表示 | 専用アプリによる没入体験・ハンドジェスチャー操作 |
その他XR | Meta Quest・SONY SRD（裸眼立体視）にも対応 |
「3DGSを試してみたい」「Vision Proで顧客に見せたい」「営業デモに活用したい」——どの段階からでもお気軽にご相談ください。
まとめ
3DGSをVision Proで体験するには、専用アプリが必要でした。既製品がない中、AIコーディングアシスタントを活用しながら、非エンジニアでも10時間で動くアプリを作ることができました。
「作ること」自体のハードルが下がった今、重要になるのは「何を、誰に、どう見せるか」という設計の部分です。テックファームでは、3DGSをどう活用すれば成果につながるかを、撮影から表示環境まで含めて一緒に考えます。
使用技術：Apple Vision Pro / Windsurf（AIコーディングアシスタント）/ MetalSplatter（OSS）/ Swift
