背景と目的
ゴルフスイングを上達させる既存の方法には、ビデオなどの教材を用いる方法や、インストラクターにコーチングを受ける方法などがあります。しかし、前者には正しいスイングフォームが身につけにくい、後者には高い受講料やまとまった時間が必要になるというデメリットがあります。
本研究では、従来の方法より手軽にゴルフスイングの診断と改善ができるシステムの開発を目標としており、企業様と合同で研究を行っております。
システム概要
ゴルフスイングをKinectなどの撮影機器を用いて撮影し、深度画像を撮影します。その後、その深度画像を学習済みのニューラルネットワークに入力することでスイングを解析し、スイング診断に必要な情報を推定します。スイング診断に必要な情報は様々なものが考えられますが、現在は全身の部位の位置情報を推定することに焦点を当てています。
【１】CG画像によるデータオーグメンテーションを用いた深層学習
本研究では深層学習を用いてスイング解析を行っており、より多様な人やスイングに対して推定を行うためには多くの学習データ（スイング深度画像）が必要になります。しかし、学習データを増やすために一つずつスイング深度画像を撮影し、正解値となる身体の部位の位置情報も計測するのは、計測にかかる費用や手間を考えると難しいです。
そのため、本研究ではCGモデルを利用したデータオーグメンテーションを行っています。具体的には下記の図のような手法を用いています。実際のスイングを計測して得られたモーションキャプチャデータと、任意の体型を持った3DCGモデルを、Blenderという3DCGソフトにインポートし組み合わせることで、１つのスイングから複数の体型分のCGスイングデータを作成することができます。また作成したスイングデータはBlender上から深度画像として出力します。
CGモデルは、計測や撮影の手間なく作成することができるので、１つのスイングデータに対して様々なＣＧモデルを組み合わせることでより簡単にデータ量を増やすことができます。
【２】学習データの作成方法
１つのスイングデータに複数の体型を持ったＣＧモデルを埋め込むことでデータ量を増やす。
【３】作成できるCG深度画像
CGモデルを使用することで１つのスイングデータから複数のスイングデータを作成できる。ここでは３つの体型のバリエーションを紹介したが、CGモデルを変えることによって様々なバリエーションを作成することができる。
【４】推定結果・取り組んでいること
CG深度画像を訓練データとして学習を行ったのち、訓練データには含まれないCG深度画像をテストデータとして推定を行うことで、システムの精度を確認します。使用しているモデルとしてはViViTモデルとResNetモデルを採用しており、有効性の検証を行っている。