Möbiusschleife: Beyond the Bounds of a VR System

開発中 2020.11.14 公開（2021.05.04 更新） © CC BY 4+ visibility744

開発中 © CC BY 4+

2020.11.14 公開（2021.05.04 更新） visibility744

ディスプレイを現実とVRをつなげる「窓」に見立てた、新しいVRインタラクションについての研究です。すぐ横にVRの世界が見えているとしたら、あなたは何をしたいですか？

link https://www.youtube.com/watch?v=NXkxGaYpYQM

folder アプリケーション, AR / VR, 電子工作, ビジュアライズ, インタラクティブデザイン, ピカピカ

sell arduino, HTC VIVE, LiDAR, Looking Glass, RealSense, unity, VR, WebSocket, C#

TUD賞 by Tsukuru to Ugoku Design株式会社ヒーローズ・リーグオンライン2020

動画

開発素材: デバイス

Intel® RealSense™

Arduino

ツール

Unity

ガジェット

VIVE

Looking Glass

システム構成

VRと現実をつなぐ「窓」

VR体験者と外部の鑑賞者は、互いに相手の様子をディスプレイで視認できる。

(現実側) VR HMDを接続したPCに、ディスプレイとWebカメラも接続
(現実側 )Webカメラで、ディスプレイのそばにいる鑑賞者の様子を撮影
(VR側) VR空間内に、仮想のディスプレイ(板状のポリゴン)を用意し、Webカメラの映像をテクスチャ(UnityのWebCamTexture)として貼り付け
(VR側) VR内のディスプレイの裏に、VR用のメインカメラとは別のカメラを設置し、VR空間を撮影
(現実側) 4.のサブカメラは、映像の出力先をVR用PCに接続したディスプレイに指定することで、現実側の鑑賞者がVR空間の様子を鑑賞できる
(現実側) VR用PCにはレーザーレンジファインダも接続されており、鑑賞者や物体のディスプレイへの接触を検知する。アプリケーションに応じて、VR空間へ物が飛んでいく、VR体験者と触れ合うなど、接触に応じたインタラクションが生じる

VRから現実への「ワープ」

また、VRアバターの表示先を平面ディスプレイから立体視ディスプレイ(Looking Glass)に変えることで、VR体験者があたかも現実に移動してきたかのような状態を表現する。

(現実側) VR用PCとは別のPCに、立体視ディスプレイを接続する。立体視ディスプレイはPCのリソース(特にGPU)を占有するため、VR用PCとは別に高性能PCを用意する必要があった
(VR側) VR用PCと立体視ディスプレイは直接つながっていないため、このままではVRとディスプレイの姿勢が揃わない。そこでWebSocket通信によりHMDとコントローラーの位置・姿勢を共有することによりアバターの姿勢を同期している
(VR側) 外側の鑑賞者はポイントクラウドで立体的に表示される。RealSenseを利用して、立体視ディスプレイのそばにいる現実の鑑賞者をキャプチャする。RealSenseのRGB-D画像をネットワークで送信するのは困難だったため、今回はVR用PCに有線接続している
(VR側) VR体験者はコントローラーで現実にある一部の物を動かせる。具体的には、立体視ディスプレイ用PCに接続されたArduinoを介してLEDやサーボモーターなどの電子部品をシリアル通信により操作できる

ストーリー

テーマ

VRは壁を越えられるのか。

VRと現実の間には大きな「壁」、隔たりがある。何故ならHMDはVR体験者の視界をふさいでバーチャル世界を見せる。彼らの視認している世界はVRだが、その肉体は現実に置かれている。一方で体験者以外の人は同じ体験を共有できないため何を体験しているかいまいち理解しづらい。

コンセプト

そこで、VRと現実をつなぐインターフェースを設けて、共同で一つのコンテンツを体験させるアプローチを試みた。ディスプレイを一種の「窓」に見立てることで、VRと現実が隣り合ったかのような感覚で、VR体験者と外部の鑑賞者が互いに干渉しあえるシステムを考案した。ひと昔前のテレビに対する人々の反応に近いものを感じるが、実装によってVRを現実と切り離された世界ではなく、現実と隣接する「窓越しの異世界」と見立てる新しい概念を創り出せたと考えている。

メソッド

我々の世界観を表現するために、先述の「VRと現実をつなぐ窓」と、もう一つ「VRから現実へのワープ」の2つを考案した。前者は、ディスプレイをVRと現実世界の間にある窓として、VRと現実の対話を試みるものである。後者は立体視ディスプレイでVRアバターの立体感と存在感を強調し、VRアバター(体験者)の現実への表出を表現するものである。

課題

VRと現実の「壁」を払うためのインタラクション手法を提案・実装したが、いくつか課題が残されている。

VR側から現実へのインタラクションの不足
VR機器と立体視ディスプレイの不完全な隔離(両者を別々の場所に設置して使えない)
提案手法を用いた魅力的なコンテンツ開発これらの課題を解決して、VRと現実をつなぐ新しいインタラクションの形や魅力的なコンテンツを開発したい。

メンバー

Revetronique

Revetronique @reve_tronique
- テスト
- 動画制作
- 企画
戸田　光紀 (Revetronique) @koki_t
- VR側開発
- エンジニア(Unity,ソフトウェア)
- ハードウェア開発

関連イベント

ヒーローズ・リーグオンライン20202020-09-07 開催
HLオンライン2020 決勝2020-12-12 開催

関連リンク

ばんの @tomoki_banno: 2020.11.21

VRは壁を越えられるのか。という問いかけ的なインタラクション作品。
リアルとの融合の中で、意図せずだと思うけれど神的なものを感じる。
こういうリアルとVRの境界線が溶けるものは面白いなー。

TakashiJona @takashijona: 2020.11.27

「被ったら独りぼっち」問題を解決できちゃう予感がします、素晴らしいです。

TUD賞 by Tsukuru to Ugoku Design株式会社 @ヒーローズ・リーグオンライン2020: 2021.06.03

プロトタイピングの定義は「評価のために設計アイデアを客観視し具体化するもの」など、様々なものが存在し、目的も多様だが、私たちとしては、「学習」を目的として重視しています。その中で、本作品はストーリーや技術はもちろん、課題をしっかりと定義し、新しいコンテンツの作成につなげていたところが素晴らしかったです。