HoloBox: iPadとARグラスを連携したXR体験

VRのような完全デジタルな世界と、現実をベースにしたAR空間をリンクさせたいと思いこのような仕組みを試作しました。
ただし、一人でVRとARのHMDを使って動作確認するのはしんどいということからVRの代わりにiPad内に表示された仮想空間との連携を実現していて、iPad内のオブジェクトをシームレスに現実に引っ張り出しています。
せっかくなのでiPadの向こう側に奥行きがあるような表現をしようと思い利用者の頭部位置(=AR HMDの位置)と連動して疑似的な奥行き表現も実現しています。