Immersive RTC基盤

近年、AR（拡張現実）やVR（仮想現実）を活用した高度な没入感を提供する仮想コミュニケーション体験が注目を集めています。例えば、ビルや木々が立体的に表現された仮想空間（メタバース空間）で、街の雑踏や川のせせらぎを背景にアバターに扮して会話をする双方向のコミュニケーションが考えられます。また、音楽やスポーツのインターネットライブ配信も一般的になっておりますが、そこでは歓声や観客同士のコミュニケーションが没入感を高める重要な要素と考えられます。このような高い没入感を持つコミュニケーション形態を「イマーシブリアルタイムコミュニケーション（Immersive RTC）」と呼びます。

一般にコミュニケーションをシステムで実現するためには、セッション管理とメディア処理の２つの要素が重要です。双方向コミュニケーションの基本である電話を例に挙げると、発信者が電話をかけると、着信者の電話機（スマートフォン）が鳴り、着信者が応答すると会話が始まります。このような呼び出しや会話の開始といった状態の管理をセッション管理と呼びます。片方向コミュニケーションであるライブ配信についても、配信状態や、観客の参加状態についてセッション管理として扱います。特に多くの人が同時に通話や配信を行う場合、それぞれのセッションに矛盾がないように管理していく必要があります。

一方電話では通話状態になると、またライブ配信ではライブが開始され観客が入場すると、音楽や映像の送受信が開始され、メディア処理が始まります。例えば、ネットワーク上で正しくメディアを送受信するためには、電話機間、あるいは、配信者と参加者間のメディアの疎通性を確保していく必要があります。さらに、映像や音声を多くの人に安定的に届けるためには、メディアの複製やミキシングなどの処理が必要です。メディアの複製やミキシングといった処理は端末（ここでいう電話機や配信者の映像音声装置）ではなく、ネットワーク上に配置されたサーバで実装され、一般に、多くのCPUやメモリといったリソースが必要ですが、ネットワーク内において偏ったリソースの分配を行うと、安定した配信ができず、適切なユーザ体験を提供できません。ネットワークのどこでどのように処理するかについてもメディア処理において重要な要素の一つです。

このようなセッション管理やメディア処理は、Immersive RTCにおいても適切に実装されなければなりません。そして、ImmersiveRTCをサービスとして提供する場合、セッション管理やメディア処理をそれぞれのサービスごとに作り込む必要があります。しかし、サービスを提供する立場から見ると、本当に提供したい価値は一般的にはシステムそのものよりコンテンツにあると考えられます。具体的には、アバターの通話であれば、通話のシステムそのものよりもアバターのキャラクターやコミュニケーションの空間に提供価値があり、また、配信であれば、配信の仕組みそのものよりもライブや関連するアイテムに提供価値があると考えられます。サービス提供事業者としてはこのような価値を提供するコンテンツに注力したいと考えるのが自然です。別の見方をすると、通話や配信の仕組みはどのサービス提供事業者にとっても必要であり、そのため、コンテンツによらず共通的に提供されるのが望ましいと考えられます。

NICで研究開発しているImmersive RTC基盤は、コンテンツの提供に共通的に必要となるセッション管理やメディア処理の機能を提供することで、サービス提供事業者がコンテンツ拡充等に注力できるようにします。

Immersive RTCとして没入感を高めるには、セッション制御やメディア処理だけでなく、様々な付加機能も必要です。例えば、雑踏やせせらぎのような背景音、近づいてくる物体の音の変化といった立体的な音響効果や、途切れのない音声映像を実現するためのネットワーク上におけるメディアへの優先制御（QoS制御）といった機能が挙げられます。また、高度なAIを実装した分析エンジンやBotを簡単に追加できるようにすることも付加価値を高めるうえで重要です。Immersive RTC基盤において、このような機能を具備することを目指して研究開発を進めています。

また、異なる仮想空間の間をまたがってコミュニケーションができたり、仮想空間と現実空間との境目のないコミュニケーション（例えば仮想空間から実際の店舗に電話をかけること）ができたりすることで、より高い没入感を提供できると考えられます。このような相互接続にはImmersive RTCを提供する事業者の間で技術的な仕様をあわせる必要があります。そこで、Immersive RTC基盤では標準化活動⁽¹⁾とも連携し研究開発を行っています。

メタバース市場は2030年には全世界で123兆円規模の市場になる予測⁽²⁾もあり、ImmersiveRTCはコミュニケーションの形態として今後さらに重要性を増していくと考えられます。その中で、ImmersiveRTC 基盤は、より没入感を高める機能を拡張しつつ、電話のような高い信頼性と品質をもった高度なコミュニケーション基盤となるようにNICでは研究開発を進めていきたいと考えています。

(1) 3GPPにおけるリアルタイムコミュニケーション関連の標準化動向

(2) 情報通信白書令和5年版