テニスの試合を触覚で実況中継する
「手のひらで感じるテニス　同時翻訳」
渡邊 淳司
NTTコミュニケーション科学基礎研究所
上席特別研究員

新型コロナウイルスの影響で残念ながら中止となってしまった『ニコニコ超会議2020』。『ニコニコネット超会議2020』としてオンラインイベントは開催されましたが、実際には披露できなかった企画や展示が多数あります。ここでは、紹介できなかった研究内容と展示内容について紹介していきます。

1. ＊使用している画像や図版は準備段階のもので、実際には使用されていないものを含みます

NTTコミュニケーション科学基礎研究所では触覚伝送の基礎研究、およびその応用へ向けた試みを行っています。ニコニコ超会議2020においては、触覚伝送をスポーツ観戦へ利用する試みを予定していました。テニスの試合の様子を振動で伝え、体感するという試みですが、そこには視覚障がい者へ向けたスポーツ実況中継への挑戦が込められています。

現在、視覚障がい者へのスポーツ中継は、音声（言葉）が中心です。ラジオ中継などのスポーツ実況中継は、聞く人が状態を想像しやすいようにさまざまな工夫がなされていますが、選手のダイナミックな動きの表現や周囲の人といっしょに応援する一体感など、音声中継だけでは得られないものもあります。研究所では、それらをうまく伝えられるスポーツ観戦のあり方を検討しています。

その中で開発されたのがSports Social View（スポーツ・ソーシャル・ビュー。以下、SSV）という方法論です。SSVでは、視覚障がい者と晴眼者がいっしょにスポーツ観戦を楽しむために、晴眼者がスポーツの動きを別の身体運動に翻訳（変換）し、視覚障がい者と共有します。2018年から東京工業大学の伊藤亜紗准教授と共同で取り組み始め、いくつかのスポーツでの観戦方式を生み出しています。ニコニコ超会議2020では、SSVによって生み出されたテニス試合観戦を、触覚伝送を利用して体験してもらう展示を予定していました。

はじめに、SSVについて簡単に紹介しましょう。SSVの視点で視覚障がい者の観戦体験を向上させるには、種目ごとの特徴に基づいた検討が必要です。具体的には、試合や競技の「実況要素」（何が起きているか）と「運動の様態」（どのように運動が行われているか）を、身体動作に表現し直す“翻訳”を行うことが重要です。

例えば、テニスは、コート内での制球と相手のラリーのリズムを崩す駆け引きが特徴の競技です。従って、ラリーの空間性とリズムを表現する必要があり、テニスコートの空間の広がりと、打球のインパクトを表現できる形を検討しました。

最終的な実況の形はこのようなものでした。晴眼者と視覚障がい者が向き合って座り、二人の膝の間に直径1000mmの段ボール製円形ボード（「えんたくん」、三ヶ日紙工製）を渡します。ボードをテニスコートに見立て、二人がネットの両端に当たる位置に座ります。翻訳者（晴眼者）は試合映像を見ながら、打球を打つタイミング、インパクトを反映し、ボード上の対応する位置を素手で叩きます。視覚障がい者はボードに両手の手のひらを置き、その振動の位置や強さを感じます。

テニスの「実況要素」であるボールの打撃位置とラリーのリズムは、ボードを打つ位置とタイミングによって表現しました。得点は拍手を模して得点側のボードを手のひらで連打して表現し、ネットに球がかかった場合は、ネットで球が転がる様子を指先でボード中央をこすって表します。また、サーブがアウトになった場合はボードを裏面から跳ね上げるというルールを決めました。「運動の様態」である打球のインパクトは、叩く強弱や叩き方によって表現しました。また、選手がサーブを打つ前に心の中でリズムを取っている心的状態も、トントンとボードを叩いて表現しました。ラリーが続くと、右、左と順にボードが叩かれることになりますが、興味深いことに、視覚障がい者の片も右、左と首を動かして、あたかも球の動きを追っているような仕草が現れました。

このような翻訳は、ほかのスポーツでも検討しました。柔道では、手ぬぐいを使いました。2人の晴眼者が手ぬぐいの両端を持ち、視覚障がい者が真ん中を持ちます。そしてそれぞれの選手の動きに合わせて晴眼者2人が手ぬぐいを両手で引っ張り合います。さらに、フェイントをかけたり重心を崩すような動きも再現しました。

参考URL：http://furue.ilab.ntt.co.jp/book/201812/contents2.html

SSVは、晴眼者と視覚障がい者がいっしょにスポーツ観戦を楽しむ手段として研究してきました。晴眼者がリアルタイムで身体的な動きに翻訳して伝えることで、試合の緊張感や観戦者同士の一体感を得ることができました。しかし一方で、音声実況や触覚デバイスを介した、多人数が同時に体験できるといった汎用性は備えていません。そこで、SSVの特徴を持ちながら、その体験を多くの人と共有するための体験コンテンツを触覚の記録・再生技術を利用して作成しています。これまで、「暗闇で感じるテニス」と「手のひらで感じるテニス」という二つのコンテンツを、NTTインターコミュニケーション・センター[ICC]、（https://www.ntticc.or.jp/ja/archive/works/experiencing-a-tennis-game-in-darkness/）（https://www.ntticc.or.jp/ja/archive/works/feeling-out-a-tennis-game-with-your-palm/）、 日本科学未来館で開催された「スポーツの再創造展」（https://re-imagined.jp/）で展示しました。

「暗闇で感じるテニス」は、奥行き1.8m×幅0.9mのテニスコートを模したテーブルを用意し、テニスの試合の映像に合わせて、過去に記録した翻訳者が机を叩いた振動をテーブルの裏面4カ所に設置された振動スピーカーから再生します。体験者はテーブルの上に両手を置いて体験します。最初は映像、音、振動をすべて体験しながらテニスの試合を観戦し、次に映像を消して環境音と振動のみで観戦、最後に振動のみで観戦するという流れで体験してもらいました。翻訳者が実際にテーブルを叩いたときの振動を記録して、再生しているため、触覚的には目の前に翻訳者がいる状況と同様の一体感が得られます。また、複数人が同時に体験でいるので、体験者同士の一体感も生まれました。

「手のひらで感じるテニス」は奥行き45cm×幅30cmのテニスコートを模した小型テーブルを用意し、振動スピーカーをテーブルの裏面の4カ所に配置し、試合に合わせて記録した翻訳者が机を叩く振動信号を再生するという仕組みでした。

映像はスマートフォンの画面で再生され、スマートフォンからの信号を元に環境音 2chはヘッドフォンから、振動4chは振動スピーカーから再生されます。体験者は環境音を聞きながらテーブルに置いた両手のひらで振動を感じます。映像、音声、振動を再生するための電力供給はスマートフォンのみが担っていて、スタジアムやパブリックビューイングなど、外部電源が供給できない場所でもコンテンツの体験ができるようになっていました。

ニコニコ超会議2020では、これらのSSVコンテンツをさらにバージョンアップさせ、「手のひらで感じるテニス　同時翻訳」という形で、リアルタイムの実況中継で行う展示を予定していました。

あらかじめ記録しておいた振動ではなく、翻訳者がモニターで流れるテニスの試合の映像を見ながら、ボールの動きに合わせてテニスボックスを叩きます。その振動を複数の体験者のテニスボックスに伝送し、リアルタイムでボールの触覚を感じるという仕掛けになっています。体験者には、最初は映像を見ながら触覚でテニスの試合を体感してもらい、その後に目を閉じてもらって、触感のみで体感してもらうと効果的でしょう。

従来のSSVでは視覚障がい者に対して個別に翻訳者が必要でしたが、翻訳者が作り出す触覚を伝送することにより、同時にさまざまな場所にいる視覚障がい者への実況中継が可能になります。

以前の展示では、視覚障がい者のほか、参加した晴眼者からも、これまでのスポーツ中継では得られなかった体験だったというフィードバックがありました。今後、スポーツ観戦の中で使用して、新しい観戦スタイルの可能性も探っていきたいと考えています。

「手のひらで感じるテニス　同時翻訳」は東京都現代美術館「おさなごころを、きみに」展（2020年7月18日〜9月27日）にて展示予定です。ぜひ、体験していただければと思います。
https://www.mot-art-museum.jp/exhibitions/Cherish-your-imagination/