この研究は過去に行われていた研究です。
背景と目的
実世界や仮想空間でのジェスチャによる物体のマニピュレーション、手話自動翻訳などの実現に向けて、微細な手指の動きを計測する研究が進められています。サイバーグローブなどを用いたシステムも提案されていますが、接触型のデバイスは使用者に負担がかかります。手形状計測班では単一カメラからの画像情報のみを用いて、非接触で手指の動きを計測する手法について研究しています。
概要
前準備として予め認識したい手形状の画像を与え、「手の見え」を学習します。認識時は入力の見えと合致した手形状を認識結果とします。
研究内容
[1] 持ち方の想起
人間はある物体を操作する際に決まった手の形状、決まった指使いで操作を行います。本研究では、物体の形状からその物体を人間がどのように把持し、どのように扱うのかをコンピュータに推定させる為の研究を行っています。物体の把持については、まず物体の把持画像から持ち方のパラメータを学習し、更に持ち方パラメータと道具のみの画像を対応付ける為の学習を行います。その後学習した道具/持ち方モデルを用いて、学習に使用した物体と同機能の未知の物体画像からその持ち方を想起します。その物体をどのように操作するかはRecurrent Neural Networksという時系列情報を扱えるニューラルネットワークを用いて学習を行い、操作プロセスの推定を行います。物体の形状から手の把持形状や操作プロセスを推定することができれば、ロボット等が物体を認識した際に、人間と同じように物体を扱うことができるようになると考えています。
[2] 手指姿勢推定
輪郭情報に基づいて手形状を推定する場合、事前に左手右手を区別することが必要です。手の表裏の識別と手首の回転角度を組み合わせて、左手右手の判別を行います。手の表裏の識別には、Haar-like特徴とAdaBoostアリゴリズムを利用し、掌側とそれ以外を識別する識別器を生成します。手の表裏の識別結果と量子化された手首回転角度から、左手右手の判別結果を得ます。
[3] 親指先可動範囲推定によるリハビリテーション支援
手指が損傷を受けた際のリハビリテーションでは手術方法や損傷及び回復の状態に応じて行う必要があり、現在の手指の機能状態を把握することが重要です。手指の機能状態を測る指標としては筋力、知覚、可動範囲などがあり、その内の可動範囲は現状、各関節について屈曲、伸展及び外転、内転の可能な範囲をセラピストが角度を測る器具をあてがって計測しています。これはセラピストが患者一人一人に対して測定を行う必要があり多数の患者を相手にする現場では大きな負担となっています。データグローブなどを装着して、可動範囲を計測することもできますが、手指を損傷している患者にとって、器具の装着は大きな負担となります。
そこで、手を距離センサで撮影し、その出力から非接触で自動的に親指先の位置を推定するシステムを開発しています。指先付近の形状を手掛りにして位置を把握し、さらに掌全体の形状を学習して掌に対する相対位置を得ることができるようになっています。
過去の研究内容
[1] 複雑背景下の手形状推定
複雑背景下でも様々な手形状が推定できるよう，サポートベクターマシン（SVM）を用いて手形状毎に識別器を作成し，手の検出と形状推定を行います．手形状の中には見えが似たものもあれば，明らかに違うものもあり，どの程度細かく違いを見れば区別できるかが異なります．そこで，見えが類似した手形状をグループ化し階層構造を作ることで，大まかな特徴で分けられるものは分けてしまい，似ている形状は細かな違いに注目して識別を行い，処理の高速化と高精度化を行います．
[2] 複雑背景下での手と把持物体の検出
手に物体を把持するとき，物体によって把持の仕方にパターンができます．SURFという画像特徴量の位置パターンをRandomized Treesによって学習することで，手領域と物体領域の検出を行います．手首位置確率分布を出力する手首検出器と，物体重心位置確率分布を出力する物体検出器を，手領域と把持物体の位置関係から学習します．認識時には検出されたSURF特徴量に各検出器を用い，かつSVMによって領域を分割することで，手領域と物体領域，背景領域をを検出することができます．
[3] 輪郭情報に基づく手形状推定
三次元手指モデルを基に色々な関節角度に対するCGを生成し、典型的な姿勢(クラス)の関節角度とその姿勢に対して起こり得る「手の見え」との関係を学習します。認識の際には入力画像中の「手の見え」と学習しておいた典型姿勢に対する「見え」とのマハラノビス距離から、典型姿勢に対する「見え」の類似度を計算します。
しかし、手の裏返し等「見え」が同じでありながら姿勢としては異なるものもあるので、現在のフレームで見えの類似度の高い姿勢が実際の入力姿勢であるとは限りません。そこで、過去のフレームにおける見え類似度から物理的に起こりうる手指姿勢の連続変化系列を抽出し、各々の系列の中から最も入力画像列に合致するものを採用します。単一フレームの見えだけでなく、過去の複数フレームを用いることでフレーム間の動きの連続性を考慮した3次元手指姿勢推定を実現しています。
さらに，照合の高速化のため，部分的な「見え」の特徴で予め典型姿勢をグループ化し木構造を作成しています．認識候補になりうる典型姿勢を，「見え」の特徴によって限定することで，計算コストを減らすことができます．また，典型姿勢は定量的に関節角度を変化させて作成しているのですが，典型姿勢と典型姿勢の間の「見え」の変化の指標として木構造を用いることで，典型姿勢の微細な分布がわかるようなりました．判明した分布から，「見え」に即した典型姿勢を新たに作ることで，推定精度を向上させることができました．