手形状計測グループ

背景と目的

　実世界や仮想空間でのジェスチャによる物体のマニピュレーション、手話自動翻訳などの実現に向けて、微細な手指の動きを計測する研究が進められています。サイバーグローブなどを用いたシステムも提案されていますが、接触型のデバイスは使用者に負担がかかります。　手形状計測班では単一カメラからの画像情報のみを用いて、非接触で手指の動きを計測する手法について研究しています。　

概要

　前準備として予め認識したい手形状の画像を与え，「手の見え」を学習します。認識時は入力の見えと合致した手形状を認識結果とします．

複雑背景下の手形状推定

　複雑背景下でも様々な手形状が推定できるよう，サポートベクターマシン（SVM）を用いて手形状毎に識別器を作成し，手の検出と形状推定を行います．手形状の中には見えが似たものもあれば，明らかに違うものもあり，どの程度細かく違いを見れば区別できるかが異なります．そこで，見えが類似した手形状をグループ化し階層構造を作ることで，大まかな特徴で分けられるものは分けてしまい，似ている形状は細かな違いに注目して識別を行い，処理の高速化と高精度化を行います．

輪郭情報に基づく手形状推定

　三次元手指モデルを基に色々な関節角度に対するCGを生成し、典型的な姿勢(クラス)の関節角度とその姿勢に対して起こり得る「手の見え」との関係を学習します。　認識の際には入力画像中の「手の見え」と学習しておいた典型姿勢に対する「見え」とのマハラノビス距離から、典型姿勢に対する「見え」の類似度を計算します。

　しかし、手の裏返し等「見え」が同じでありながら姿勢としては異なるものもあるので、現在のフレームで見えの類似度の高い姿勢が実際の入力姿勢であるとは限りません。そこで、過去のフレームにおける見え類似度から物理的に起こりうる手指姿勢の連続変化系列を抽出し、各々の系列の中から最も入力画像列に合致するものを採用します。　単一フレームの見えだけでなく、過去の複数フレームを用いることでフレーム間の動きの連続性を考慮した3次元手指姿勢推定を実現しています。さらに，照合の高速化のため，部分的な「見え」の特徴で予め典型姿勢をグループ化し木構造を作成しています．

　実時間で認識処理を行うことができます．

手形状計測グループの研究紹介ポスター

メンバー

M2 宮本　翔 ( miyamoto [at] @i.ci.ritsumei.ac.jp )
B4 森岡　慎也 ( morioka [at] @i.ci.ritsumei.ac.jp )

研究グループ　