リアルタイム3D空間伝送技術

NTTでは、IOWN構想のもとリアルとバーチャルの垣根を超えて、離れた人同士が同じ空間を共有し、お互いの存在が感じられるような新しいコミュニケーション環境の実現に向けた技術開発に取り組んでいます。

そのためには、例えば視覚に関しては空間を丸ごと伝送して遠隔地で再現できるような、3D空間の伝送・再現技術が不可欠となります。また、存在感の提示においては視覚や聴覚だけでは不十分であり、それ以外の感覚の伝送・再現も必要となります。

前者の3D空間の伝送・再現に関しては、音楽やスポーツなどのライブエンターテインメント分野で、従来の2D映像より臨場感が高まる手段として3Dデータによる表現が注目されています。その代表的な技術としてはボリュメトリックビデオが挙げられますが、一定の処理時間を要するため、低遅延性が要求される双方向コミュニケーションへの適用が困難でした。

そこでNTTでは、3D空間を動的な点群(物体や空間の3D形状を点座標の集合として表現したデータ形式)としてリアルタイム計測することで、3D空間の低遅延伝送を実現する技術の研究開発に取り組んでいます。

また後者の存在感の提示に関しては、遠方にいる人の位置や動きを、空間内の触覚振動を計測して遠隔地で再現する技術の研究開発に取り組んでいます。

これら3D空間情報や触覚振動情報を、低遅延・大容量であるIOWNのAPNで伝送することで、遠隔地の空間を丸ごと伝送・再現できる未来の実現を目指しています。

ポイントとなる要素技術としては(i)動的3D空間伝送再現技術と(ii)触覚振動音場提示技術の2つがあります。

(i)動的3D空間伝送再現技術は、複数台のカメラと測距センサを使い、空間を丸ごと計測。計測された点群データにリアルタイムに高密度化・ノイズ除去を施し、遠隔地へ伝送して、動的な3D点群として再現する技術です。

(ii)触覚振動音場提示技術は、空間内で発生した振動を計測して遠隔地に伝送し再現する技術です。振動の強さ・質感に加えて、その発生位置も計測することで、遠隔地に定位感を含めた触覚振動を再現することができます。

【動的3D空間伝送再現技術】

3D空間の計測/再現手法としては、例えばNeRFやGaussian SplattingなどAIを用いた様々な方法が提案されていますが、その多くは静的な空間を計測する技術になっています。動的な空間を計測する技術としては、ボリュメトリックビデオと呼ばれる技術が現時点で最も一般的になっていますが、広範囲な空間を計測するには早くとも数秒の処理遅延を要するため、双方向のコミュニケーションへの適用は困難です。

そこでNTTでは、レーザーを用いたライダーと呼ばれる測距装置とカメラを組み合わせることで広範囲な空間を動的な3D点群として計測し、その膨大な動的3D点群データをAPNを介して低遅延で伝送するシステムを研究開発しています。

この技術の特徴は2点あります。一つ目は、自動運転でも活用されているライダーを活用することで、広い動的な空間の情報をリアルタイムかつ低遅延で計測できることです。二つ目は、専用のスタジオなどを必要としないことです。ボリュメトリックビデオ技術では、屋内等の照明条件が安定している専用フィールドでの撮影が前提となりますが、本技術は屋外を含む任意の空間を3D点群計測・伝送することが可能です。

【触覚振動音場提示技術】

人が、床の振動を通じて背後を歩く人の気配を察知することに着想を得て、足音と触覚振動の手がかりをある空間から別の空間へと伝送し、人の存在感を伝えることを目指す技術です。

床の振動は、床面に複数のマイクを設置する方法や、遠隔地の人の足元に加速度マイクを装着して人の位置をトラッキングする方法によって計測をしています。遠隔地の再現側では床下に複数の振動子を設置し、それらを定位感が再現されるように連動・制御することで、移動する振動源を再現し、あたかも人がそこを通ったかのような存在感を伝送することができます。

【システム構成】

システム構成例の概略を図1に示します。

動的な3D点群の計測では、1つの視点に対して1台のカメラと複数台のライダーを組み合わせた計測装置を伝送したい空間の周囲に配置します。この装置では、毎秒30フレームの速度で3D点群を計測し、ノイズの除去や高密度化などの高画質化処理を施し、視点ごとに遠隔地へデータを送ります。遠隔地側では、送られてきた視点毎の点群データを受信し、それを全て統合して1つの3D点群として再構成し、毎秒30フレームの速度で3D空間内に描画します。

触覚振動に関しては、床下に敷き詰められた複数のマイクで各位置の振動を計測し、それをデジタル化して遠隔地へ伝送します。遠隔地側では、送られてきたデータから各地点の振動を再マッピングし、床下に敷き詰められた振動子を使って遠隔地の床面に振動を再現します。

これらのデータには全て時刻情報が付与され、低遅延かつ揺らぎの少ないIOWN APNによって遠隔地へ伝送されます。遠隔地では時刻情報を元に全てのデータを同期再生することで、空間全体を低遅延で再現することができます。検証の結果、本システムの伝送遅延は、国際標準のITU-T G.114で定められた双方向コンテンツの遅延基準である片方向150msec以下を達成しています。

リアルタイム空間伝送技術によれば、遠隔地にいる人々と空間を共有しながら、臨場感の高いコミュニケーションが可能となります。適用先としてはエンターテインメント分野のほか、教育分野などへの適用が想定されます。

今後も引き続き各技術の性能改善を進めていきます。より広範囲な計測への対応のほか、計測装置の経済化やセッティングの容易化などに向けた研究開発に取り組む予定です。