2021年12月14日 (火) から17日 (金) まで東京国際フォーラム (有楽町) で開催されるSIGGRAPH Asia 2021において、Project Cybernetic Being から4作品出展します。
Parallel Ping-Pong: Demonstrating Parallel Interaction through Multiple Bodies by a Single User
１人のユーザが複数の身体を同時に操作する「パラレル・インタラクション」を探求するための物理的プラットフォームとして、卓球を題材とした「パラレル・ピンポン」を開発しました。ユーザは，2本のロボットアームをバーチャルリアリティコントローラで操作し，ヘッドマウントディスプレイを通して２台のロボットアームの視点映像を見ながら２つのテーブルで同時に卓球をできます。ゲーム状況やピンポン玉の方向や位置に応じて、複数視点映像を分割・合成した映像をヘッドマウントディスプレイに表示することで、２つの視点環境を同時に観測することを可能にします。さらに、映像やシステムのレイテンシーによって損なわれてしまうロボットアームに対する行為主体性を維持するために、ボールの軌道計算によるロボットアーム自動制御とユーザー自身の動作を統合することで、複数ロボットアームを１人のユーザーが主体性を持ち制御することを実現します。パラレル・ピンポンは一人のユーザが複数の身体を持ち、並行して身体体験を行うための様々なデザインを検証するためのプラットフォームとなることが期待されます。
We explore a “Parallel Interaction”, where a user controls several bodies concurrently. Here we implemented “Parallel Ping-Pong” as a demonstration of such interaction. The user plays ping-pong by controlling 2 robot arms with a Virtual Reality controller, and while looking from the viewpoint of the robot arms with a Head-Mounted Display. The HMD view is composited by sliding and blending between the viewpoints according to the ping-pong ball direction. To keep the sense of agency over the robot arms (hindered by the system latency), the robot arms calculate the ball path and position themselves to hit the ball back ; all while integrating the controller.
Collaborative Avatar Platform for Collecting Human Expertise
2人の人が1つのロボットアームに融合し、一緒に作業を行うシステムを開発しました。このシステムは、2人がそれぞれ位置と姿勢を制御する役割分担と、2人の運動を任意の割合で融合するという2つの方法で制御します。このシステムによって、1人ではできない作業ができるようになることや、ロボットアームの動作が安定することを実現できます。これらは、熟練者から初心者への技能伝達や、遠隔地にいる人同士での協調作業、異なる技能を持つ人同士の共創を誘発するなど、サイバーフィジカル社会における新しい共同作業の手法としての応用が考えられます。
We present a system that mixes two people into one robot arm and collaborates together. There are two ways of control (division of roles and mixing in adjustable ratio), and we found that it allows us to perform movements that are impossible by alone and stabilizes the movement. This allows each user to mix and match their strengths and assist each other’s weaknesses, and also to work as a multiple skilled professional. This system is expected to become a new method of collaboration in the cyber-physical society.
Frisson Waves: Sharing Frisson to Create Collective Empathetic Experiences for Music Performances
私たちは、フリソンを共有するというコンセプトのもと、鳥肌感覚を向上させ、感情の波に変換する「Frisson Waves」というアート作品を作成しました。鳥肌感覚の他人への伝達を容易にすることで、お互いの反応を知ることができ、個人的にも集団的にも変容する内的な知覚の方法を可能にしました。私たちは、リストバンド、バックエンド処理、および出力からなる、オープンな統合ウェアラブルシステムを提案します。このシステムは、生理的信号を取り込み、熱情報に変換することで、フリソンを誘発することができます。
We present the concept of sharing frisson and the artifact of “Frisson Waves” by enhancing and transmuting aesthetic chills into emotion circle waves. We explores the intimate reactions and enables a way of inward perception that was transformative, individual as well as collective by facilitating the interpersonal transmission of frisson sensation. We describe an open integrated wearable system that consists of a wrist band, back-end processing, and output. Our proposed system enables the capturing and translating of physiological signals into thermal information to induce frisson.
Dementia Eyes: Perceiving Dementia with Augmented Reality
Dementia Eyesは、アルツハイマー型認知症の一般的な視覚症状を、患者と接した経験のある医療従事者の経験と病理学に基づいてシミュレートしたモバイルAR体験です。 このアプリケーションは、日本のプロの医療従事者によって検証された結果、アルツハイマー型認知症に対する医療従事者への共感を誘発する有効性が示されました。
Dementia Eyes is a mobile AR experience simulating common visual symptoms of Alzheimer’s type of dementia based on pathology and medical workers’ experience with patients. The application was validated by professional medical workers in Japan, and the result advocates for the efficacy of the empathy we intended to bring to the medical workers.
