
44
マーカー方式、Depthセンサー方式、2D カメラ
手の動きを取り込む
ハ ンドトラッキ ング
2-8
手の動作を正確に把握するマーカー方式
没入感の高いVR体験を実現するために、リアルタイムで人の手の位置、
動き、ジェスチャーを検知し、追跡する技術をハンドトラッキングといい
ます。この技術によって、仮想空間内に自然な手の動きを取り込めます。
ハンドトラッキングには、主に3 つの方式があります(図 2-15)。1 つ
目はマーカー方式です。手や手の各部位を追跡するための印(マーカー)
をつけた専用の手袋と、動きをキャプチャする複数台のカメラを用いま
す。カメラはマーカーの動きを捉えて、コンピュータでこれらの動きから
実際の動作を正確に把握し、データとして抽出します。
立体形状を認識するDepth(深度)センサー方式
2 つ目はDepth(深度)センサー方式です。赤外線を使い手の立体形
状を認識します。赤外線が手にあたり反射した光の時間差から手の形状を
立体的に特定します。主に3 つの手法があり、赤外線パターンを投影し、
ひずみから3D形状を再構成する構造化光方式、光パルスの反射時間から
距離を計算する飛行時間方式(ToF)、2 つのカメラで撮影した画像から視
差を利用して計算するステレオビジョン方式があります。
いずれも、図2-16 にある Microsoft 社が提供している AzureKinectDK
深度カメラなどの専用のDepth センサーが用いられます。
2Dカメラからの推定
3つ目は2D