新型コロナウイルス感染症拡大の影響により人々の移動や対面でのコミュニケーションが制限されるなか、社内会議や営業活動などさまざまな活動のリモート化が進展しています。その動きはスポーツ界やエンタテインメント業界においても例外ではなく、無観客によるスポーツ中継やライブ配信イベントは急激に増加しました。
今回は、そうしたイベントを視聴する際にリモート観客どうしが距離を超えて「盛り上がり」を共有できる「観戦アシストシステム」を紹介します。

「観戦アシストシステム」とは

NTTサービスエボリューション研究所では、これまで会場の空間のあらゆる事象をまるごと計測・数値化し、現地の臨場感や熱狂感をそのまま遠隔地にあるライブビューイング会場へと伝送し再現する研究に取り組んできました。しかし、新型コロナウイルス感染症拡大により状況は一変。ライブビューイング会場など大規模施設での多人数での視聴は困難なものとなりました。
そこで、自宅など小規模な遠隔地での視聴においてもスタジアムやライブ会場同様の迫力や非日常感を体験できる「観戦アシストシステム」（図１）への取り組みを開始しました。

「観戦アシストシステム」を構成する3つの技術

「観戦アシストシステム」は主に3つの技術により構成されています。以下に各技術の概要を簡単に紹介します。

視聴者の反応やその場の雰囲気を「把握する」―リモートセンシング技術

1点目は視聴者の反応やその場の雰囲気をリアルタイムで把握する技術。
例えばスポーツ観戦では、特定の選手に注目して観戦している人、試合全体を俯瞰して戦況を見守る人など、人により盛り上がるポイントは異なります。
また、音楽イベントにおいても演奏中に盛り上がる人、演奏が終了した時点で感情を表出する人など、感情が動くタイミングは異なります。
そこでスマートスピーカーなどの音声取得デバイス、TVに搭載されたカメラ、スマートウォッチなどのウェアラブルデバイスなどでヒトの感情の測定・数値化を行い、視聴者が現在どのくらい集中しているか、配信のどの部分に注目しているかなどを正確に把握します。

仮想空間を創り出す―ウルトラリアリティ・フィールド生成技術

2点目は仮想的な視聴空間を創り出し、そこにそれぞれの視聴者を配置する技術です。
盛り上がっている視聴者どうしを結びつけることで、より熱狂を高める視聴空間を構成することが可能です。また、その反対にあまり興味を示していない視聴者を熱狂的な空間に配置することにより、興味・関心を高めることも可能です。
さらに盛り上がるシーンに合わせて「歓声」「熱気」「ざわめき」「体動」など、遠隔観戦の盛り上がりを高める演出を強化することで、実際には数千人しか収容できないイベントであっても仮想空間上では数万人、数十万人が視聴・応援しているかのような空間を構築することも可能です。

視聴者どうしの一体感を高める―フィールド再現技術

3点目は仮想的な空間において視聴者どうしの一体感を高める技術です。
具体的には他の視聴者の映像や音声、影などを遅延なくフィードバックし、遠隔地にいる視聴者がまるで隣で一緒に応援しているかのような環境を用意し、対話性を促進します。
大会場でのライブビューイングが制限されるなか、自宅などの小規模で独立した環境においても「熱狂感」「一体感」「対話性」を高めることができるような技術が期待されています。そのため、NTTサービスエボリューション研究所では自宅のリビングルームでのスポーツ観戦をユースケースとした実験設備を構築し、視聴者への影響度や最適なフィードバック手法などについて検証を行っています（図2）。

「観戦アシスト」に関連する技術開発　

NTTでは「盛り上がり」を共有できる観戦体験の実現に向けて、映像の臨場感を高める研究も行っています。
その一例としてNTTでは、裸眼でも2D映像がクリアに見える3Dステレオ映像生成技術である「HiddenStereo」のビジネス化に向け、自動化・高速化などのシステム開発を推進しています。
本取り組みの特徴の一つとして、既存の2D映像から3D映像を半自動的に生成する技術が挙げられます。この技術では、まず単眼で撮影された2D映像から推定した奥行き推定結果と領域分割結果をエッジ保存平滑化により合成することで精度の高い奥行情報(デプスマップ)を作成します（図3）。さらにそれぞれのシーンに応じて表現する奥行きの範囲を限定したり、注目すべき被写体を強調したりといった補正を行い、効果的かつ自然な立体感を得られるよう最適化を行います。

これらの技術により2Dで撮影した過去の音楽ライブや演劇などに3D効果を付加できるほか、絵画やポスターのような2D作品に3D表現を付加することが可能となる。また、その場にいる視聴者一人ひとりが楽しみ方を自由に選択できるバリアフリーな3D視聴が実現可能となります。

NTTでは、今後もスタジアムやコンサート会場と比べてもそん色のない、あたかも多くの人と集まって一緒に観戦・視聴しているかのような体験の実現を目指します。

※記事本文中の研究所名が、執筆・取材時の旧研究所名の場合がございます。