なぜ「サマーレッスン」はJKのハァハァを首筋に感じるの? VRの切り札か。東大の第一人者に視覚から触覚を生む“クロスモーダル現象”を聞いてみた【インタビュー】

1

2

2. VRで「嗅覚・味覚」をハックする

――VRによって身体感覚がある程度ハックできるようになることは分かりました。でも、五感の中で特に「嗅覚」と「味覚」は、まだまだ再現が難しい分野だと思うんです。たとえば香りを再現するVRデバイスは「VAQSO VR」【※】などようやくいくつか出始めたところですが、まだ実験段階です。

※VAQSO VR……HMDに装着して、VRコンテンツに連動した匂いを出すデバイス。日本のVAQSO社が開発中で、2017年1月にデモゲーム発表会が行われた。「女の子の匂いも再現できる」と話題になった。
(画像はVAQSO VR公式サイトより)

鳴海氏:
 まさにその通りで、嗅覚と味覚の再現はなかなか難しいです。
 視覚だったらRGB【※1】の3種類で何でも再現できますが、化学物質はそうはいきません。特に嗅覚の特性は面白くて、違う化学物質でも似た香りに感じることもあり、香りの物質と脳の認識がどう関係しているのか、実はまだあまり解明されていないんです。

 人体にはだいたい300~400種類の化学物質のレセプター【※2】があって、それの組み合わせで人は香りを判別しているのではないかと言われています。ということは単純にオン・オフの組み合わせで、少なくとも2の300乗通りあるということですよね。

※1 RGB
R(赤)、G(緑)、B(青)から成る色の三原色。これらを混ぜ合わせることで、様々な色を再現することが可能。

※2 レセプター
受容体ともいう。細胞外からやってくる物理的・化学的な刺激を認識して細胞の機能に影響を与えるタンパク質。

――香りって、五感の中でも特に感情に訴える部分が大きいと言われますよね。特定の香りからある瞬間の記憶が鮮やかに蘇るような経験は、誰しもあるのではないかと思います。

鳴海氏:
 そうなんです。嗅覚は脳の中でも古い部分に直結してる【※】んです。他の感覚は大脳皮質という比較的新しい部分で処理をしているんですが、嗅覚だけはちょっとメカニズムが違うと言われています。

 嗅覚はそれだけ強い感覚ではあるんですが、香りというのは結構あいまいなものなんです。目を閉じてりんごの香りを嗅いでりんごだと当てられる人はだいたい4割から6割くらいです。そこでクロスモーダルを使うと、同じ香りでもパイナップルを見せればパイナップルの香りに、りんごを見せればりんごの香りに感じさせることが可能になります。

 他の感覚で補完しながら、1つの香りで10種類の表現ができるようになれば、3種類のカートリッジで30種類の香りを表現できます。すべての香りを表現することは難しいですが、ゲーム内で使う香りということで種類を絞ればいけるのではないでしょうか。


嗅覚は五感の中で最も“原始的”な、単細胞生物ですら有する情報系とされており、他の4種の感覚と違い、脳の「大脳辺縁系」と呼ばれる古い皮質のセクションでまず処理される。大脳辺縁系は、本能に基づく行動や情緒行動を支配するとされている。

――香りを再現する VRデバイスも、決して不可能というわけではないんですね。それでは味覚についてはどうですか? 以前、鳴海先生は「料理番組でその味まで遠隔で届けたい」とおっしゃっていましたが……。

鳴海氏:
 味覚を表現することは現状ではかなり難しいです。
 ただ、うまく電気刺激を使ってあげればいろんな味を作れるんじゃないかと言われています。舌に直接電気を流すと、電池を舐めたときのようなえぐみになってしまいますが、最近の研究だと液体にあらかじめいろいろな溶液を入れておくんです。

 そしてストローと人体に電極を付けて電気を流すと、電気泳動【※】のようなことが起こり、一方に甘みを感じる化学物質が寄ったり、甘くない物質が寄ったりします。その部分をストローで吸うと、電気を流している間は酸っぱくて、流さないと甘くなるというようなことができるのではないかと言われています。

※電気泳動
溶液中の荷電物質が電極に引き寄せられ移動するという化学原理のこと。主にDNAやタンパク質の分離に用いられる手法。

3. VRで「感情」をハックする

――五感をハックすることについて、そこまで研究が進んでいるんですね。他の研究についてもぜひ教えてください! たとえば、感覚だけでなく、人の感情まで制御することは可能なのでしょうか。

鳴海氏:
 それについてぜひ紹介したいのが、グッドデザイン賞や東大の総長賞も受賞した、「扇情的な鏡」【※】という作品です。 一見すると普通の鏡ですが、人の顔をデジタル処理して、実際より笑顔にしたり、悲しそうにしたりして映し出すというシステムです。

※扇情的な鏡
東京大学大学院 情報理工学系研究科 廣瀬・谷川・鳴海研究によって、2012年に「心映し」という名前で発表された。鏡に映る被験者の顔を、擬似的に笑ったり泣いたりしている表情にすることによって、被験者の感情に変化を引き起こすことを目的としている。2013年度グッドデザイン賞を受賞した。

 心理学的な知見では、私たちは「悲しいから泣くのではなく、泣くから悲しい」という影響が強いことが明らかになっています。怖いから鳥肌が立つのではなく、鳥肌が立ったことに怖いという意味を後から付けているんです。

――なるほど、「情動が変わる→身体が変化する」のではなく、まず身体が変化して、それに情動が影響される、という順番だということなんですね。

鳴海氏:
 この研究はVR空間上で行う遠隔会議なんかに活用できます。みんなの顔を少し笑顔にするように表示すれば、議論が活発になり、互いにポジティブなムードで会話ができます。

画像右が「扇情的な鏡」によって作られた笑顔
(画像はIncendiary reflection / 扇情的な鏡より)

 たとえばブレストをするとき、みんなを笑顔に見せると、出るアイデアの数が1.5倍になるという研究成果も得ています。

――それはいいことを聞きました(笑)。会議をするなら、笑顔でやったほうがいいんですね。

鳴海氏:
 身体を変えてあげるとそれにつられて感情も変わるし、他人にも影響を与えて、社会的な生産性まで変わる。ポジティブになれる環境を整えることで私たちの能力は最大限発揮されるということなんです。

「身体性への回帰」というトレンド

――ところで、最近のVRブームの影響で、VRを研究しようとする学生も増えたんじゃないですか?

鳴海氏:
 そうですね。私の研究室にも高校生から「VRの研究をしたいです」というメールが来るようになりました。

 彼らのような若い世代の考え方で面白いのは、「なんで今のVRは身体を動かさなきゃいけないんですか?」ということ。『ソードアート・オンライン』【※】の影響が強いのかなと思いますが、身体は寝たまま脳波でアバターを動かすのこそがVRで、なぜそれがまだ実現されていないんだと。

※ソードアート・オンライン……川原礫氏によるライトノベル、およびオンライン小説を原作とした、漫画、アニメ、ゲーム、映画などの総称。ライトノベルは2009年に刊行、アニメの第一作目は2012年に放送された。
(画像はAmazonより)

――脳の信号を読み取って出力する「ブレイン・マシン・インターフェース」(以下、BMI)【※】ですね。『ソードアート・オンライン』のナーヴギア【※】がそうでした。

※1 ブレイン・マシン・インターフェース
Brain-machine Interface。脳と機械の直接的な情報伝達を、脳信号の読み取りと脳への刺激によって仲介するプログラムや機器の総称。

※2 ナーヴギア
『ソードアート・オンライン』作中で登場するVRデバイスのひとつ。プレイ中、ゲームオーバーになると使用者の命を奪うよう設計されていた。

鳴海氏:
 私たちも昔はBMIを研究していましたが、やはりコストが非常に高く、そこまで普及するレベルにはならないと思うんです。四肢が動かないとか、障がいがある人にとってはBMIは魅力的な技術だと思いますが、そうでない人にしてみると自分の「身体」というデバイスを動かした方が、早くて安くて正確なんですよね。

 「VRが進むと身体は捨て去られる」というのはむしろ逆で、実はVRのおかげで身体のことがあらためてどんどん分かってきている、というのが現状なんです。

――身体性といえば、ゲームAI開発者の三宅陽一郎さん【※】にインタビューしたときも、「AIと身体性」について熱心に話されていたのが印象的でした。

21世紀に“洋ゲー”でゲームAIが遂げた驚異の進化史。その「敗戦」から日本のゲーム業界が再び立ち上がるには?【AI開発者・三宅陽一郎氏インタビュー】

※三宅陽一郎
1975年生まれのゲームAI開発者。株式会社スクウェア・エニックス テクノロジー推進部 リードAIリサーチャー。京都大学で数学を専攻、大阪大学大学院物理学修士課程、東京大学大学院工学系研究科博士課程を経た後、人工知能研究の道へ。2004年、株式会社フロム・ソフトウェア入社。2011年4月より、株式会社スクウェア・エニックスに移籍。ゲームAI開発者としてデジタルゲームにおける人工知能技術の発展に従事している。

鳴海氏:
 三宅さんは「身体がなければAIは進化しない」というようなことをおっしゃっていますね。身体があるから知性が生まれるのであって、ゲームAIにとってもキャラクターのボディーがあってその中で振舞うことによって知性が生まれるという。AI研究の知見は、VR研究と通じるところがあると思っています。

そして人間はどこまでハックできるのか?

――そろそろ取材も終わりなのですが、お話を聞きながら、VRって単なる「3Dよりリアルな視覚体験を味わえるゲーム」に留まらない可能性を持つのだなと思いました。

鳴海氏:
 じゃあ最後に、VRの将来について考えさせられる、面白い実験を紹介しましょうか。「スーパーマン実験」【※】と呼ばれるものです。
 まず被験者に、スーパーマンになりきるような映像を見せます。空を飛び回って泣いている子供を助けるというような映像なんですが、大事なのはその後です。

 その映像を見せたあと、係のお姉さんが「今からアンケートに答えてもらいますね」と言いながら、立ち上がったときにペン立てを倒します。

※スーパーマン実験……2013年に米スタンフォード大学にてジェレミー・ベイレンソン氏らが行った実験。被験者を複数のグループに分け、一方にスーパーマンのように空を飛び回るVR映像を、他方にヘリコプターに乗るVR映像を見せる。映像閲覧後にインタビュアーが被験者の前でペン立てを落とすと、前者の方が平均的にペンを拾うまでの時間が短かった、というもの。
(画像はVirtual Superheroes: Using Superpowers in Virtual Reality to Encourage Prosocial Behaviorより)

 このとき、スーパーマンになりきる映像を見せた直後の人はスッと立ち上がり、平均2秒ほどでペンを拾ってくれます。一方で違う映像を見せた人はなかなか立ち上がらず、拾うまでに平均6秒ほどかかるんです。

――それはつまり、ヒーロー映画を見て映画館を出るときは自分が勇敢になった気がするのに近いかもしれないですね。でも、それは裏を返すと、暴力的なゲームをプレイしたら暴力的になるのかという、昔から存在している問題にもつながるのではないでしょうか?  それが影響力の強いVRであればなおさら……。

鳴海氏:
 もちろん、その懸念はありますが、私はそんなに長い間エフェクトは残らないと思っています。そういうネガティブな面よりも、疑似体験を通じて私たちの精神や倫理観がアップデートされていって、より良い社会のためになるんじゃないか、そういう可能性がVRにはあるんじゃないかと思って、日々研究をしています。

 ゲームも人を良くする影響を与えられる可能性もあるし、もしかすると人を暴力的にしてしまう可能性もあるかもしれない。そこに対して開発者はやはりナイーブでなければならないし、いろんな可能性を常に検討しなければならないと思っています。

――今までのお話を聞いていると、VR研究はかなり学際的な分野だという印象を受けました。工学だけでなく、社会学もあれば認知心理学【※】の知見も必要になってくるという。

※認知心理学
1960年ごろから活発に研究されるようになった、人間の知覚や記憶、理解と学習、 問題解決や意識状態について研究する心理学の一分野。

鳴海氏:
 まさにそうですね。結局は人間のことが分からないとVRは分からない。人間を真に理解しないと、VRで面白いものはできない。そのためには、本当にいろいろな分野の視点を持たなければいけないと常に考えています。

 VRはここ1、2年でプレイヤーの数が爆発的に増え、今まで草の根で研究者たちが細々と積み上げてきた知見の上に、ここ数年で新たな知見がどんどん積み上がっている状況です。
 こんなに人々がバーチャルな世界にさらされ続ける時代は今までなかったので、そういう意味でこれからどうなっていくのか、非常に楽しみです。(了)

関連記事:

【サマーレッスン爆速レビュー】パンツを覗き込むのに成功したぜ! JKをカテキョする大注目VRゲームをドワンゴVR部が語り尽くす!

実際に実現可能なの…? 2026年を描く『劇場版 ソードアート・オンライン』のARデバイスをエンジニアがマジで議論してみた【ドワンゴVR部】

21世紀に“洋ゲー”でゲームAIが遂げた驚異の進化史。その「敗戦」から日本のゲーム業界が再び立ち上がるには?【AI開発者・三宅陽一郎氏インタビュー】

インタビュアー・著者
電ファミニコゲーマー編集部員。映画を観るのとアナログゲームをするのが好き。
Twitter:@_k18

1

2

  • このエントリーをはてなブックマークに追加

この記事に関するタグ

関連記事

SNSで話題の記事

新着記事

新着記事

連載・特集一覧

カテゴリ

ゲームマガジン

関連サイト

脳ゲーマー ヒデヲ
若ゲのいたり

カテゴリーピックアップ