この研究は過去に行われていた研究です。
背景と目的
手術手技や和菓子作りといった人間の手指を使った高度な技能の継承・保存のため、熟練者の手技のアーカイブやそれを用いた教示訓練システムなどが望まれています。我々のグループでは手形状計測グループと連携し、微細な手指の動作を記述する方法、動作パターンの識別、進行状況の把握、直すべき部分を特定した動作の評価とフィードバック方法について研究しています。
研究内容
本研究では、手術における糸結び動作を対象とし、セルフトレーニングのための結び動作の認識と検証を目的としています。糸結びの技術は、結びを作る技術と締める技術で評価されます。前者では手のかたちが、後者では糸や生体組織にかかる力が重要となります。我々は、RGB-Dセンサを用いて結び動作を検証する方法を提案しています。また、ひずみゲージを用いた糸の引っ張り計測を検討しています。 結び動作の検証では、手の3次元的な形状を用いて動的計画法（DP）により手本動作とのフレーム間マッチングを行います。対応付いたフレームの手の3次元形状の違いから手本動作と合わない部位を特定し、RGB-Dセンサで得られたRGB画像に重畳表示することによってユーザにフィードバックしています。しかし、結び動作の途中で手本の動作にない動作（異常動作）が現れるとフレームのマッチングに失敗することがあります。そこで、異常動作の検出と正常動作部分の正しいマッチングを同時に行う方法について研究を進めています。
