| ~高品質・高臨場なVRイベントを既存スタジオから遠隔地の会場へリアルタイム開催し、運営コストを削減~ |
| 発表のポイント: | |||||||
|
|||||||
|
|||||||
|
|||||||
| 1.背景 | |||||||
| アニメやゲームなどのエンターテインメントビジネスは、グローバルに市場が拡大しており、日本が高い競争力を有する分野です。中でも、モーションキャプチャー技術※6によって演者の個性をバーチャルキャラクターに反映させるVTuberビジネスは大きな盛り上がりを見せています。リアルなライブ体験を楽しみたい、インタラクティブな交流を行いたい、といったファンのニーズは、国内外で高まっています。 | |||||||
| 一方、イベント運営事業者にとっては、短距離間で遅延なく映像・音声を伝送するためにライブ会場内に仮設スタジオを設置する現地開催はコスト負担が大きく、インターネット経由の配信ではネットワーク品質が安定しないため高品質な映像(フルハイビジョン、4K)や自然な会話の提供が困難であり、事前に撮影したライブ映像の上映では臨場感に欠けるため十分な盛り上がりを生み出せない、という問題があります。 | |||||||
|
2.実証内容と成果 NTTドコモのXRスタジオ(東京都港区台場)と実験会場(東京都武蔵野市)を、大容量・低遅延・揺らぎなしの特徴を併せ持つIOWN APNで接続(図2)し、NTTが研究開発したセルフハプティクスによるVR触覚コミュニケーション技術を活用することで、高品質・高臨場なファンミーティングをリアルタイムに実現できることを実証しました。 |
|||||||
|
|||||||
|
(1)低遅延通信によりリアルタイムかつ高品質なVRファンミーティングを実現し、運営コスト約20%削減 IOWN APNの高い通信品質(片道の伝送遅延:平均0.04msec、遅延ゆらぎ:0.05μsec)により、ネットワークを介した接続でありながら、あたかも会場内に設置した仮設スタジオから提供しているかのような、リアルタイムかつ高品質なVRファンミーティングを実施できることを実証しました。実際にVRゴーグルを装着した参加者は、目の前に存在するバーチャルキャラクターと、自然な会話によるコミュニケーションが可能であることを確認できました。 また、スタジオ設備(VTuberライブシステム「Matrix Stream」(図3)※7など)と会場設備(VRゴーグル、カメラなど)の接続については、HDMI信号変換技術※8を搭載したIF変換装置を活用することで、拠点間が離れている状況においても、映像・音声品質の劣化や通信に起因する遅延変動なく、遠隔地への映像・音声伝送が可能であることを実証しました。 さらに、ライブ会場内に仮設スタジオを設置する現地開催と比較して、モーションキャプチャーに必要な照明・カメラなどを設置するためのアルミトラスの組み立てと高精度カメラやサーバなどの機材移設が不要となることから、運営コストを約20%削減できることを確認しました。あわせて、既存スタジオを活用することで、従来と同等のオペレーション品質を維持したままコンテンツ提供が可能であることも確認しています。 |
|||||||
|
|||||||
|
(2)NTTが研究開発したセルフハプティクスによるVR触覚コミュニケーション技術により、VR空間において推しとハイタッチした際の触覚を実感できることを実証 「バーチャルキャラクターとリアルタイムにインタラクティブな交流がしたい」というファンのニーズに応えるため、NTTが研究開発したセルフハプティクスによるVR触覚コミュニケーション技術と市販VRゴーグルを組み合わせることで、VR空間においてバーチャルキャラクターとハイタッチした実感が得られる疑似的なふれあいコミュニケーション(図4)を実現しました。 |
|||||||
|
|||||||
|
自分自身の身体を用いて触覚や力覚を代替するセルフハプティクス技術をVR空間でのふれあいコミュニケーションに応用 (図5)するために、描画位置を実空間の位置とずらした視覚効果を用いることで、実際には自分の手に触れていながら、あたかもバーチャルキャラクターと物理的にハイタッチしているかのような感覚を得ることができます。 1.実空間の位置情報に基づき、仮想空間にバーチャルキャラクターとファンのアバターを描画 2.仮想空間で会話していると、徐々にファンのアバターの左手が外側にずれて描画 3.バーチャルキャラクターの左手がファンの左手とシンクロ 4.実空間でファンが両手を重ねると、仮想空間でバーチャルキャラクターとハイタッチ可能 |
|||||||
|
|||||||
|
(3)実証結果(速報) VRファンミーティング実験参加者(計39名)を対象に実施したアンケートの結果、NTTの技術について、「ハイタッチをした感覚」や「バーチャルキャラクターとの一体感」などの項目において高い評価を得ることができました(図6~8)。 また、参加者全員がファンミーティング体験の満足度について「やや満足」以上と回答するとともに、「また参加したい」との意向を示しており、VRファンミーティングそのものの価値と有効性を確認できました。 |
|||||||
|
|||||||
|
|||||||
|
3.各社の役割 ・NTT:セルフハプティクスによるVR触覚コミュニケーション技術開発(特許出願済)、 HDMI変換技術に関する技術支援、IOWN技術などを活用したVTuberイベントなどの検討 ・NTTドコモ:VTuberライブおよびファンミーティングの提供、スタジオ設備/会場設備の提供と運用 |
|||||||
|
4.今後の展開 スタジオや会場において、IOWNをはじめとする最新技術を活用したXRビジネスを展開することにより、VTuberが演じるバーチャルキャラクターとファンがリアルタイムにインタラクティブな交流を行えるサービスを提供していきます。 さらに、IOWNを活用した高品質な映像・音声の伝送に加え、「手が触れる」ような体験を創出することで、コミュニティや社会とのつながりを実感できる、新たなエンターテインメントサービスの創造をめざします。 あわせて、VTuberをはじめ、アニメやゲームなど多様なコンテンツを保有するパートナー企業に向けたサービス提供を進めるとともに、国内外のスタジオや会場との連携を通じて、グローバルなビジネスの拡大に貢献していきます。 |
|||||||
|
【用語解説】 ※1. NTTドコモ XRスタジオ(東京都港区台場) 高精度なVICONカメラとVTuberライブシステム「Matrix Stream」を組み合わせることで、最大6名までの演者を同時にトラッキングすることが可能です。そのため、歌・ダンス・バラエティ企画など、多様なコンテンツ制作に対応できます。さらに、照明・音響と連動したリアルタイム演出にも対応しており、没入感の高いライブ・トークイベント・ファンミーティングなど、リアルとバーチャルを融合したイベントを実現できます。 ※2. IOWN(Innovative Optical & Wireless Network) IOWN構想とは、あらゆる情報を基に個と全体との最適化を図り、光を中心とした革新的技術を活用し、高速大容量通信ならびに膨大な計算リソースなどを提供可能な、端末を含むネットワーク・情報処理基盤の構想です。 ■ IOWN構想:https://www.rd.ntt/iown/index.html ※3. IOWN APN(All-Photonics Network) IOWN APNとは、ネットワークから端末まで、すべてにフォトニクス(光)ベースの技術を導入し、これにより現在のエレクトロニクス(電子)ベースの技術では困難な、圧倒的な低消費電力、高品質・大容量、低遅延の伝送を実現します。 ■ IOWN APN:https://www.rd.ntt/iown/0002.html ※4. セルフハプティクス(Self-Haptics) ユーザー自身の身体の動き・皮膚・筋骨格を利用して触覚・力覚を生成・代替する技術であり、身体そのものを “ 触覚デバイス ” として捉える点が特徴です。 ※5. All-Photonics Connect(オールフォトニクス・コネクト) All-Photonics Connectは、お客さまの指定する拠点をPoint to Pointで接続し、10Gbps/100Gbps/400Gbps/800Gbpsの高速大容量・低遅延・省電力な通信を実現します。 ■ All-Photonics Connect:https://business.ntt-east.co.jp/service/koutaiikiaccess/ ※6. モーションキャプチャー技術 モーションキャプチャー技術とは、人の動きをセンサーやカメラで正確に記録し、それをデジタルデータとして再現する技術です。実際の動きをそのままデジタル空間に取り込むことで、リアルで臨場感のある表現や、より精密な動作解析が可能になります。 ※7. VTuberライブシステム「Matrix Stream」 モーションキャプチャーシステムを用いて演者の動きをリアルタイムに取得し、バーチャル空間上のキャラクターの動きとして生成します。これにより、XRを活用したライブおよびファンミーティングを、リアル会場のスクリーン、メタバース空間のバーチャル会場、さらにはPCやスマートフォンなどに向けてリアルタイムで提供することが可能です。 ※8. HDMI信号変換技術 HDMI信号を非圧縮のまま長距離伝送信号へ低遅延に変換する技術です。 ■ HDMI信号変換技術:https://group.ntt/jp/newsrelease/2024/10/08/241008b.html |
|||||||