画面の中の世界に手を伸ばして入り込みたいと思ったことはありませんか？本作品は、自身の身体は現実空間にいながらも、画面の中に手を伸ばしてバーチャル空間に入り込み、ふれあえるような作品です。

森の妖精のためにクルミパン作りのお手伝いをして、ふれあうストーリーを創りました。 バーチャル空間にはおなかを空かせた森の妖精が棲んでいます。現実空間にいるヒト（体験者）に気づいた彼らはヒトの手を引っ張りバーチャル空間に引き込みます。そして、ヒトとお友達になった妖精たちは大好物のクルミパンを一緒に作ろうと誘います。体験者であるヒトは森の妖精たちのために、クルミパンの材料であるクルミを割ってあげたり、パン生地をこねることでクルミパン作りをお手伝いします。

インタラクションデザイン

ストーリーを楽しむための３つインタラクションをデザインし制作しました。

1. 引っ張られる

妖精たちが引っ張る動きに同期して触覚デバイスに反力を提示し、手が引っ張られる感覚を提示します。バーチャル空間と現実空間の境界には霧のVFXを描画し、妖精たちに引っ張られることでその霧が晴れ、ユーザーがバーチャル空間へと引き込まれるよう演出しました。

2. クルミを割る

クルミを強く握り潰すときの抵抗感とクルミが割れるときの破裂感を感じることができます。触覚デバイスによって計測された手の握り具合をUnity上のバーチャルハンドに対応させインタラクションをしています。

3. パン生地をこねる

触覚デバイスを握ったときの反力を調整することでパンの柔らかさを提示します。パン生地の変形には手でつかんだ部分のみ変形するようにオブジェクトの変形を工夫しました。

システム全体は、バーチャル空間を表示するための裸眼立体視ディスプレイ、バーチャル空間とインタラクションするための触覚提示デバイスで構成されています。裸眼立体視ディスプレイに表示されるキャラクターやバーチャルオブジェクトはUnity空間上で制御しています。

1. 触覚提示デバイス

1-1. リール機構

マジックハンドの機構からインスパイアされた把持型デバイスを自作しました。制作にあたって、メンテナンス性と省スペース性の観点からリール機構を採用しました。フィードバック制御によって、ユーザの握り動作の計測および握り動作に対する反力提示による触感の再現を実現しています。

1-2. 制御方法

Unityと相互に通信することで、シーン内オブジェクトとの主体感のあるインタラクションを実現しています。具体的には、デバイス（マイコン）からUnityへエンコーダ値を送信することでユーザーの手の姿勢をリアルタイムに同期させ、一方でUnityからマイコンにはオブジェクトのパラメータを送信することでフィードバック制御による反力を調節しています。

1-3. ハンドトラッキング

手の位置のトラッキングには光学式モーションキャプチャシステムであるOptiTrack V120を使用しています。トラッキングに使用するマーカーは手を隠すための装飾に配置しています。

1-4. UXデザイン

触覚デバイスは小型で把持型のデバイスにすることで、面倒な装着を必要としないデザインにしました。また、デバイスを含めた手の周りを隠すことで、自身の手への意識を抑制し、バーチャルハンドを体験者の手だと思うように誘導するデザインにしました。

2. 環境＆ディスプレイ

立体映像と周りの装飾により、従来の2Dディスプレイと違い、モニタであることを感じなくさせ、現実世界とバーチャル世界の境界面を曖昧にします。

2-1. 立体映像出力

SONYの空間再現ディスプレイELF-SR2で表示しています。体験者の左右の目の位置をリアルタイムに検出し、立体的な映像を提示します。

2-2. 舞台セット

バーチャル世界と現実世界をシームレスにつなげるために、バーチャル空間の世界観を現実世界にも反映させています。