VRゲームをプレイしたことのある人なら、VR空間内をどこまでも自由に歩き回り、限りなく遠くまで移動をしてみたいと思ったことがあるのではないだろうか。
また、VR技術が進化して映像や音はかぎりなく現実に近いものを届けられても、まだ香りや味といった情報を再現することはできない。そういったものまで表現できれば、もっと没入感が高まるのに……。
VR初日の出、VR福笑い、そしてVR食事!? すべてが仮想空間で完結する「VR新年会」を開いてみた
そんな研究に取り組んでいるのが、東京大学講師の鳴海拓志氏だ。VR技術と認知科学・心理学などの知見を融合し、別の感覚の情報を補完することである感覚を作り出す「クロスモーダル」研究の第一人者だ。
鳴海氏は昨年、VR空間内でどこまでも真っすぐ歩き続けられる「Unlimited Corridor」というVRシステムを発表した。しかも現実で必要なスペースはわずか6m四方ほどで、広い部屋はいらない。一体どういう仕組みなのかは、ぜひ本文を見ていただきたいが、実用化されてゲームに応用されればなんともわくわくする技術ではないだろうか。
また鳴海氏は、VRに香りや味を付加する研究にも取り組んでいる。映像や音と違って届けるのが難しそうだが、人間の感覚の特性をうまく使えば再現できる可能性があるという。
VR研究のキーマンに、最新のVR事情と人間の感覚の不思議さ、VRと身体性の関係について尋ねてみた。
取材、文／透明ランナー
「感覚をハックする」とは？
――鳴海先生はどのような研究をされているんですか？
鳴海拓志氏（以下、鳴海氏）：
今まで人間の“五感”は別々に独立しているものだと考えられていたんですが、実は複数の感覚を組み合わせて、ある感覚の情報から他の感覚の情報を補完して処理していることが分かってきました。これを「クロスモーダル現象」【※】といいます。
五感の、どれか一つの感覚が刺激されることによって、存在しない他の感覚を脳が補完してしまうということです。例えば視覚から触覚を作ることができたり、香りから味を作ることができたり……。他の感覚を適切に変えてやることで狙った感覚を与えられるんじゃないか。そんな研究をしています。
※クロスモーダル現象
クロス・モーダル知覚（Cross-modal perception）とも呼ばれる。複数の感覚が相互に影響を及ぼしあったり、補完しあったりする現象のこと。
――見るだけで、触った感覚を味わったり……ということですか。そんなこと、可能なのでしょうか。
鳴海氏：
分かりやすいのが腹話術です。音声は腹話術師の口元から聞こえているはずなのに、観客は人形がしゃべっているように錯覚してしまう。これは音源がどこにあるという聴覚情報が視覚情報に引きずられて、感覚が変容しているということなんです。
他にも、たとえば見た目でコーラだと思い込んで、一気に飲み干したものが麦茶だったら美味しくないし、麦茶だと思い込んでコーラを飲んだらむせてしまう。どちらも本来美味しく飲めるものなのに、不思議ですよね。
――実は人間は聴覚や味覚といった感覚を、それ単体で感じているのではなく、他の感覚からの類推でかなり補正しているということなんですね。このあたり、実例とともに詳しくお聞きしたいところですね。でも、こういった研究はゲームにどう関わってくるのでしょうか？
鳴海氏：
なんといってもやはり、VRゲームに使えるのではないかと考えています。たとえばPS VR用ゲーム『サマーレッスン：宮本ひかり セブンデイズルーム』（以下、『サマーレッスン』）【※1】について、私のゲームの師匠である遠藤雅伸さん【※2】と開発中の現場にお邪魔したことがあるのですが、そこでもクロスモーダルの話をしました。
【サマーレッスン爆速レビュー】パンツを覗き込むのに成功したぜ！ JKをカテキョする大注目VRゲームをドワンゴVR部が語り尽くす！
『サマーレッスン』をプレイしていると、本当はそこに香りも熱もないにも関わらず、首元に近づいた女子高生の息づかいや、隣に人が座ったような熱を感じるユーザーが多くいるんです。過去の体験や知識から補完して感覚を埋めているんですね。視覚情報に加えてそういうもので補強することができれば、よりリアリティのあるVR空間を作り出せるのではないかと思っています。
※1 サマーレッスン：宮本ひかり セブンデイズルーム
バンダイナムコエンターテインメントが2016年に発売したPS VR用タイトル。プレイヤーが女子高生の家庭教師となり、夏の終わりの7日間を、勉強を教えながら共に過ごす。教えるレッスンの内容によって成長の方向性が変わっていくゲーム。
※2 遠藤雅伸さん
1959年生まれ。日本のゲームクリエイター。東京工芸大学教授、日本デジタルゲーム学会理事研究委員長、宮城大学客員教授、Japan Game Music Orchestra（JAGMO）名誉会長、CEDEC運営委員を務める。アーケードゲームの傑作『ゼビウス』、『ドルアーガの塔』などの作品を手がけたことで有名。
１. VRで「身体感覚」をハックする
――確かに、VRゲームに応用できそうな気はしますね。他に、どういう研究をされているのでしょうか。
鳴海氏：
たとえば面白いものだと、VR空間内で無限に真っすぐ歩き続けられる「Unlimited Corridor」【※】という技術を、私たちの研究室で開発しました。
※Unlimited Corridor
日本語では「無限回廊」。実際には曲がっているのに、まっすぐ歩いているように感じさせるVR技術「リダイレクテッド・ウォーキング」に触覚の要素を加えたもの。体験者はHMDをつけた状態で、用意された壁に触れながら歩く。東京大学大学院情報理工学系研究科 廣瀬・谷川・鳴海研究室とUnity Technologies Japanによる共同開発で、2016年に発表された。第20回文化庁メディア芸術祭（エンターテインメント部門）において優秀賞を獲得。
普通VRゲームはトラッキング【※】のスペースの問題があって、歩こうとすると現実世界の壁にぶつかってしまいますよね。ところがこの技術では、同じところをぐるぐる歩いているにもかかわらず、真っすぐに歩いているように感じさせるんです。
※トラッキング
プレイヤーの運動の軌道や速度、位置情報を検出する技術。
――それは不思議ですね。いったいどんな仕組みなんでしょうか。
鳴海氏：
曲面状の壁が大きな円形になっており、手で現実の壁に触れながらVR映像に従って歩いてもらうと、本人は真っすぐ歩いているつもりでも、大きな円の円周上を歩いていただけ……という仕組みなんです。半径約3mの円周上の壁のまわりにカメラを設置し、歩いている人の位置を測定しながら、ヘッドマウントディスプレイ（以下、HMD）に表示する映像をリアルタイムで補正しています。
（画像はWebpage of Keigo Matsumotoより）
そのような技術はこれまでも「リダイレクテッド・ウォーキング」【※】と呼ばれて海外で研究されていたんですが、映像だけでそのように感じさせるには50m×50mの広い部屋が必要です。そんな空間、日本の家に持ってこられないですよね。
そこで、視覚だけではなく触覚も使えばもっと感覚を補完できるのではないかと考えたのが、この「Unlimited Corridor」です。
※リダイレクテッド・ウォーキング
HMDに表示する映像を補正することで、まっすぐ歩いているかのように感じさせる技術。
――それだけスケールが小さくなれば、家庭用VRゲームの体験の幅もかなり広がりそうですよね。日本でもHTC Viveのような、部屋の中を自由に歩き回れる「ルームスケールVR」【※】が手に入りますが、最大の障壁は物理的な部屋の狭さですからね……。
※ルームスケールVR
ある程度の広さが確保された空間で、プレイヤーが自由に動き回れる形式のVRのこと。
鳴海氏：
今年度の文化庁メディア芸術祭【※】のエンターテインメント部門の優秀賞に選んでいただき、今年9月に開かれる受賞作品展で、皆さんにも体験していただけます。「そんな仕組みで本当に真っすぐに感じるの？」と思う方、ぜひやってみてください。真っすぐ歩いていたつもりなのに、HMDを外して自分が同じ場所をぐるぐる回っていたことに気づくと、びっくりしますよ。
そしてこちらが最も新しく、まだメディアにもほとんど出ていない出来たてほやほやの研究、「Infinite Stairs」です。
先ほどの「Unlimited Corridor」は平面を無限に真っすぐ歩けるものでしたが、FPSのようなゲームでは階段を上り下りして2階や地下に行きたいですよね。そこで今度は、「無限に階段を上れる」ようにできないかと考えました。
※文化庁メディア芸術祭
1997年度から毎年開催されているアートとエンターテイメントの祭典。アート部門、エンターテイメント部門、アニメーション部門、マンガ部門の4部門から構成される。2017年9月には、第20回受賞作品展の開催が東京で予定されている。
――さっきは円形の壁を用意しましたけど、今度は階段を用意する……わけではないですよね？
鳴海氏：
HMDをつけながらリアルな階段を歩くのって、足元が見えなくてかなり危ないですよね。でも階段を上っている感覚は残したい。
そこで、段差の縁に相当する部分だけ、1cmほどの突起を等間隔に作るんです。そうすると階段の縁に足の裏が乗った感覚になる。そこで階段を上り下りするVR映像を見せてあげると、本当に階段を歩いている感覚になるんです。上りも下りも再現できますが、人間は上りと下りで歩き方の特性が違うので、下りのほうが若干感じにくい人が多いみたいです。
（画像はInfinite Stairsより）
この技術を使えば、1階と2階に違うアイテムがあったり、無限に上方にステージを追加できたり、いろいろなVRゲームの可能性が生まれます。
――無限に上り続ける階段……。まるでエッシャーの版画【※】のような、現実にはありえない世界を作ることもできますね。身体感覚の話でいうと、VRゲームをプレイしていて思うのが、身体に加速度を感じられないということです。せっかく空を飛んだりジェットコースターに乗れたりするのに、それを身体で感じられないのは残念というか……。
（画像はWikipediaより）
鳴海氏：
実はそれにも面白いアプローチが出てきています。平衡感覚を司っている、耳の奥の三半規管の隣にある前庭部【※1】を電気で刺激して、加速度を感じさせる「GVS」【※2】と呼ばれる原理です。身体に電極を貼って電気を流すと、前庭に刺激が伝わり、体が傾かせることができる。
（画像はSIGGRAPH 2017 Emerging Technologiesより）
最近はそれを三軸で動かせるようになったので、東京ゲームショウやCEDEC【※3】で「GVSライド」【※4】というシステムが展示されました。HMDをかぶってジェットコースターの映像を見ながら、身体にリアルな加速度を感じ取れるというものです。阪大の前田太郎先生や明大の青山一真先生などが研究されていますが、より身体にとって自然な状況になって、VR酔いもしにくくなると言われています。
こんなふうに、人間の身体感覚って、他の感覚で補完してあげることでけっこう変えることができるんです。
※1 前庭部
前庭器官。「内耳」と呼ばれる場所にある部位のことで、平衡感覚をつかさどるとされる。直進運動、回転運動、あるいは運動の速度などを感知する。
※3 CEDEC
Computer Entertainment Developers Conferenceの略。ゲーム会社からなる一般社団法人コンピュータエンターテインメント協会 （CESA）が主催する、日本国内最大のゲーム開発者向け技術交流会のこと。1999年に第一回が開催されて以降、毎年開催されている。
※4 GVSライド
Unityによって制作されたVR技術で、2016年に東京ゲームショウやCEDECにて発表された。VRゴーグルを装着した体験者は、ジェットコースターの映像に合わせた前庭器官への電気刺激により、リアルな加速度を感じ取れるというもの。
