図解まるわかり VR・AR・MRのしくみ

110

  ア バ ターリップ シンク

アバターと人間の口の動きを

連動させる技術

5-13

身体と口の動きを連動させた会話を実現

仮想空間で自分自身を表現するために重要となるアバターは、現実世界

の自分を映し出す存在のため、実際の身体の動きとリアルタイムで連動す

ることが求められます。

手足などの動きは複数台のカメラを使用したモーションキャプチャによ

って再現することができます。これは、すでに幅広い分野で活用が進めら

れています。

しかし、仮想空間でのコミュニケーションを行うためには、会話時に発

声する口の動きを再現しなければいけません。そのときに活用される技術

が、

アバターリップシンクです。

口の細かい動きを調整できる

アバターリップシンクとは、アバターの口元を動かす技術です。アバタ

ーを通じて会話を行う際、声が聞こえていても口元が動いていなければ不

自然に感じられるでしょう。そうした問題を解決し、よりリアルなコミュ

ニケーションを実現できる技術です（図5-25）。

しくみとしては、まずマイクが音声を認識し、その内容に合わせてアバ

ターの口を動かします。このときに音声の大きさや口の開き、動きの滑ら

かさ、口が開閉する速度などの細かな調整も行います。すると、本物の人

間が話しているかのような口の動きをリアルタイムで再現できるのです。

また、リップシンクは現在、音声情報からの連動だけではなく、テキス

トデータの読み上げにも対応しています（図5-26）。

人間が声に出すことなく、リアルな会話時の表情を再現できるため、ナ

レーションなど幅広い分野での活用が期待されています。 ...