室内監視班
背景と目的
室内環境、例えば、研究室や社内オフィスといった場所は多くの人が出入りするので、誰が物を[持ち込んだ/持ち去った]のか特定することは困難です。さらに、室内の映像が保存されていたとしても、長時間の記録映像から目的のシーンを探し出すのは労力を要する上に見逃しの問題もはらんでいます。
そこで、このような大量の映像データをシステムが自動整理して効率よく保存しておき、ユーザは必要最低限の指示を行うだけで目的のシーンを検索できれば非常に便利です。 部屋内イベント監視班では、監視映像下に起こる「物体の持ち込み/持ち去り」といった様々なイベントを自動的に検知・整理しておき、実シーン中で直接ジェスチャによって物体や空間を指し示すことで「これを持ってきたのは誰？」等と直観的に問い合わせできる検索操作システムを開発しています。
システム概要
システムの概要は右図のようになっており、主な機能は以下の3つです。● イベント検知部
● イベント解釈部
● ユーザインタフェース部
以下にそれぞれの機能について説明します。
● イベント検知部
イベント検知部では室内の様子を撮影した画像列から人が何か物を[持ち込んだ/持ち去った]シーンを自動的に検知し、保存します。
物体検知には、背景差分領域の時系列データを用いています。物体は自ら動くことはないと仮定し、それまでの背景と異なる領域がある一定時間に渡って同じ場所に存在し続けた場合、それを物体領域として抽出します。物体を検知・記録した後はその「物体領域」は背景と同じ扱いとして次フレーム以降に何度もその物体が同じ場所に検知されないように、重なって別の物体が置かれても検知できるようにしています。
右図は物体持ち込み検知時の様子を示したものです。 ● イベント解釈部
イベント解釈部では、イベント検知部で保存されたシーンについて「いつ？どこで？誰が？何をしたか？」といった情報を付加し、その情報をデータベースに登録・管理します。
日常生活のシーンでは物を重ねて置くなど、物体同士の重なり合い(occlusion, 隠蔽)が頻繁に発生し、カメラで撮影した映像からは実際の物体形状が完全には抽出できない場合があります。そこで物体同士の隠蔽問題を解決するために、検知された物体領域を時系列のレイヤ構造として保存します。このレイヤ構造を用いると、物体の隠蔽下で起こったイベントに対する処理が行えます。例えばある物体Aのカメラから見て奥の側に画像上で重なるように新しい物体Bが置かれた後、手前の物体Aが持ち去られても、後ろの物体Bの(物体Aによって)隠されていた部分を正しく物体Bの領域として認識することができます。 ● ユーザインタフェース部
ユーザインタフェース部では、ユーザの入力となる指差しなどのジェスチャ認識と音声認識の処理を行い、その問い合わせに応じた結果を提示し対話を行います。 ユーザとの対話を行なうためには、イベント解釈部によって記録された物体検知履歴の情報を用います。物体検知履歴はイベントの起こった時刻や(画像上の)座標からイベントの起きている様子を撮影した画像列を検索できるようなデータベースになっています。このデータベースを用いることで、ユーザの指差しでの座標指定、あるいは発話による時刻指定から、該当するイベントが検索できます。 ユーザの知りたい情報の種別(タスク)の決定には、ユーザの発話に含まれるキーワードを用いました。現在実装しているシステムではタスクとして「誰が持ってきたのか?」「誰が持っていったのか?」の2種類を想定しています。 現在のシステムでは、ユーザの音声発話を切っ掛けとして対話を開始しユーザの指定した座標に関係しているイベントを全て提示してユーザに確認を求めていきます。音声発話を対話開始の切っ掛けとすることでただ通り過ぎるだけの人を対話対象としないようにしています。 今後は、対話やジェスチャによりユーザから得られる情報を増やし、素早く検索結果を返せるようなインタフェースを構築していきます。また、システムのシーン解釈ミスをユーザとの対話により修正できるように改良する予定です。研究内容
[1] 室内監視のための顔と服の特徴を用いた人物識別
室内を撮影した映像から「物体の持ち込み・持ち去り」等のイベントを「誰」が行った行動なのかを自動的に検知・整理することを目標としています。誰がそのイベントに関わっていたのかを記録するためには、カメラの監視下に入ってくる人物を識別しなければなりません。現在、オムロン社のOkaoVisionを用いた顔特徴からの識別とカラーヒストグラムを用いた服特徴からの識別を併用することで、信頼性の高い人物識別を行えるシステムの構築を行っています。
将来的には、人物とイベントを関連づけて登録し、誰が行ったイベントであるのかをユーザに提示できるようにし、また、誤った登録をしていた場合はユーザとの対話によって容易に修正が行えるようなシステムの構築を目指してします。
[2] 室内監視のための物体検知と追跡
本研究では, 屋内監視下において[物体の持ち込み/持ち去り] 等イベントを自動的に検知・保存しておき，ユーザの求めるシーンを対話的に検索できるシステムの構築を目的としています。しかし、実空間を撮影し、自動認識によりイベント検知処理, データベースに登録するにあたって、さまざまな問題点があります。その中でも物体の前に何らかの隠ぺいが起こることで正確なイベント認識ができないといった「物体を検知しているが何らかの影響を受けることで起こる誤認識」が多い。
そこでこの問題を解決するために、まず物体の今現在の正確な位置を把握する、物体を正確に追跡することを研究目的としています。 この物体追跡により、[持ち込み/持ち去り]だけであるイベントに移動するという結果を追加すること、さらに物体からイベントを検索できるようなシステムの構築を目標としています。
監視班の研究紹介ポスター
メンバー
- 池上 貴之 ( ikegami [at] @i.ci.ritsumei.ac.jp )
- 川本 祥悟 ( kawamoto [at] @i.ci.ritsumei.ac.jp )