Cybernetic being Visionとは、ムーンショット型研究開発事業 ムーンショット目標１「人が身体、脳、空間、時間の制約から解放された社会を実現」の達成に向けた研究開発プロジェクト「身体的共創を生み出すサイバネティック・アバター技術と社会基盤の開発」の研究開発推進を担う研究者の思考に迫り、きたるべき未来のビジョンをみなさんと探求するコンテンツです。

私たちは感情を持って生きている。私たちは感情によって人間関係を育み、場の雰囲気をつくる。それと同時に、人間関係によって自分の感情が生まれ、場の雰囲気が個人の感情のあり様を決める。感情と、人間として社会で生きることは、相補的であり共創の関係にある。カイ・クンツェ（Kai Kunze）は、センシングデバイスを使ってこの関係性を解明し、VRの空間上に感情をつくりだすことを研究している。

未来の劇場で生まれる、新しい共創

私は人間拡張について研究をしています。中でも、パフォーミング・アーツを使って、人間の主観的な感覚・感情をデータ化し、それを共有したり、さらには新しい共創の仕組魅を作り出すことを試みています。

たとえばプロジェクト「ボイリングマインド（Boiling Mind）」は、ダンサーとオーディエンス間で感覚・感情のデータを共有することで、新たな共創を生むことを実現したダンスパフォーマンスです。

まず、ダンスパフォーマンスを観覧する40人〜50人のオーディエンスにはウェアラブルセンサをつけてもらい、心拍と「ガルヴァニック皮膚反応」（発汗の作用によって皮膚の湿気があがると、皮膚の電気抵抗が低くなること。特定の感情状態の指標となる）を測定しました。次に、これらのセンサーデータをプロジェクションによる映像と音声で、ステージへとフィードバックしました。これによって、ダンサーは現在の観客の感情に合わせてパフォーマンスができます。

研究者として魅力的だったのは、オーディエンスの感情に合わせてダンサーが即興的にパフォーマンスをすることによって、非常に新しい同調と共創の形が見えたことでした。未来の劇場では、オーディエンスは観劇をするだけではなく、パフォーマンスを共創する役割を担っていくのかもしれません。

「ゾクッとする」を共有し、誘発する

アートは、非常に主観的な感覚を誘発します。それは時に笑いであり、悲しみかもしれません。またある時、その感覚は生理的な身体の反応として身体に現れることがあります。「ゾクッとする」とする感覚です。

「ゾクッとする」は、震え、ヒリヒリ感、鳥肌など、さまざまな捉え方ができる現象です。そして生理的反応を伴う感覚であるという点が特徴です。笑いや悲しみは、客観的に知覚できる顔の表情や笑い声、涙などで伝搬しているところがあります。「つられる」ということです。しかし、「ゾクッとする」とする感覚は非常に主観的です。それでも、コンサートなどでは多くの人が「ゾクッとする」とする感覚を共有しています。これはどうしてなのでしょうか？

慶應義塾大学大学院メディアデザイン研究科の修士過程の学生（Yan He）が主導したプロジェクト「フリソンウェーブス（Frisson Waves）」は、「ゾクッとする」感覚、すなわちフリソンを周囲に伝搬させることで、集団内で共感を生み出そうとするデバイスです。私たちは48人のオーディエンスがいるピアノコンサートで実験を行いました。ちなみにピアノを弾いていたのは、ピアニストでもある、このプロジェクトを主導した Yan He でした。

オーディエンスは、フリソンの検出用センシングリストバンドと、フリソンの誘発ネックバンドを身に着けます。誘発ネックバンドには、冷たさを感じる効果のあるモジュールがセットしてあり、これにで皮膚に刺激を与えることでフリソンを誘発できます。

48 

フリソンウェーブスは、音楽などのパフォーマンスに対する個人の反応を超えた、集団的で没入感のある体験を生み出すことができます。そして、コンサートの中でウェアラブルデバイスによってフリソンを共有し、誘発することができるのであれば、それをVR空間で再構築できるのではないかと考え、研究を続けています。それが現在、プロジェクト「サイバネティック・ビーイング」の経験共有研究グループで私が取り組んでいることです。現在は、そもそも人と実際に会って交換する感情と、オンラインのディスプレイを介して交換する感情にはどのような違いがあるのか。コンサートでのフリソンのような「感情のコンテクスト」をいかに圧縮してオンラインのデジタルデータにするか、それをどのように解凍してオフラインに出力するか、などを研究しています。エンターテインメント産業における将来の応用に大きな可能性があると感じています。

感情が生み出す人間拡張

プロジェクト「サイバネティック・ビーイング」に参加していて興味深いことは、私が「ボイリングマインド」や「フリソンウェーブス」で探求している、人間の主観的な感覚をデータ化し、共有・共創をする仕組みについて、他の分野の研究者の視点から示唆をもらえることです。経験共有研究グループには脳科学の専門家の柴田和久さんがいます。柴田さんは私が研究してきたプロジェクトに興味をもってくれて、実際にこれらを使って研究をしてみたいと話しています。私も「ボイリングマインド」や「フリソンウェーブス」で、実際に脳の中でどのようなことが起きているのか、非常に興味深く思っています。

プロジェクト「サイバネティック・ビーイング」では、感情を人間拡張に応用することを進めていきたいと感じています。たとえば、フリソンをこれまで感じたことがない人が一定数います。彼ら彼女らが、私たちのラボでフリソンを誘発し、実際に感じてみることで、未知の感覚を身につけることができます。これはある種の人間拡張です。

もちろんそれが何かのパフォーマンスを上げたりすることに直接はつながらないかもしれませんが、個人の体験を変えていくことができます。感覚が拡張されると、新しい感情のコンテクストが生まれ、それによって実際に体験されることが変わるのです。それは、ある人にとっては、新しい音楽やダンスパフォーマンスの楽しみ方を発見することかもしれません。

さらに、今まで体験できないことを体験していくことで、多様性と折り合うことができるようになるかもしれません。たとえば、誰かの感情のリアリティを体験することは、その本人にならなければ難しい。しかし、心拍やガルヴァニック皮膚反応などの生理的情報をウェアラブルデバイスなどで提示することで、他人の感情が体験できます。時にそれはより深い相互理解に繋がるかもしれません。

現在、「ボイリングマインド」の新しいパフォーマンスが進行中ですが、今回はダンサーもセンサーをつけることを試みています。自らの生理的なデータとともにダンスをしていくことで、ダンサーはより深く自分のことを知ってパフォーマンスができます。また、オーディエンスにもセンサーをつけ、パフォーマンス全体でより深く生理的データを共有し、共創する空間を創っています。

これらの体験をデザインに生かすことで、よりインクルシーブなサイバネティック・アバターを実現できるかもしれません。きっとそれは、これまでのひとつの身体では体験できない、人生における体験を創造するでしょう。

(聞き手・文 森旭彦、聞き手 小原和也)