音声認識による物体認識システムの開発

音声認識による物体認識システムの開発

Author: 
k-iwane
音声認識による物体認識システムの開発

随時更新していきます.(Windowsに対応しました.)

概要

近年サービスロボットが発展してきており,サービスロボットが人間の日常環境で動作するためには人間とロボットのインタラクション方法は重要な課題である.この課題に対して,本システムでは,直接的なインタラクションとしての音声認識技術と,サービスロボットに必要な能力の1つの物体認識を組み合わせたシステムを構築した.本システムは,公開されているRTコンポーネントをベースに構築しており,音声認識コンポーネントの群のOpenHRI,さらにアピアランスベース物体認識コンポーネントや,共通カメラインタフェースに基づくカメラコンポーネントなどから構成されており,幅広いロボットシステムへの応用可能なシステムとなっている.

特徴

  • 音声認識コンポーネントとしてOpenHRIのコンポーネント群の利用
  • 共通カメラインターフェイス(参考サイト)に基づいた認識系コンポーネント
  • 認識のアルゴリズムとして,SIFT特徴量やテンプレートマッチングを用意

コンポーネント群

  • RecognitionManager 音声認識の結果から,物体認識のモデルを指定
  • ObjectSensor SIFT特徴量を用いた物体位置姿勢推定
  • CameraCapture USBカメラコンポーネント
  • Viewer 画像表示
  • TemplateMatching テンプレートマッチング
  • PulseAudioInput 音声入力
  • PulseAudioOutput 音声出力
  • JuliusRTC 音声認識
  • SEAT 対話コンポーネント
  • OpenJTalkRTC 音声合成 

動作環境

  • 言語: C++, python
  • OS: Ubuntu10.04, Windows7

依存パッケージ

  • OpenCV2.3
  • CUDA4.0 (ObjectSensor使用時)
  • rtshell(スクリプトファイル使用時)

システム概要

TemplateMatchingとObjectSensorを入れ替えるだけで,簡単に認識のアルゴリズムの変更が可能

ソースコード

マニュアル

詳しくはこちらのWikiを参照 

問合先(メールアドレス): 
iwane@arai-lab.sys.es.osaka-u.ac.jp
Resources
Project Information
OS: 
Windows
Linux
言語: 
C++
OpenRTM ver.: 
1.0
Average: 
5
Average: 5 (1 vote)
Last modified: 
Mon, 2011-12-19 20:28

Download

latest Releases

For Begginers

Windows msi(installer) package (only trying samples)

C++,Python,Java,
Toolsを含む
1.2.1-RELEASE

Development environment is required for RT-Component development. See download page for details.

Number of Projects

Choreonoid

Motion editor/Dynamics simulator

OpenHRP3

Dynamics simulator

OpenRTP

Integrated Development Platform

AIST RTC collection

RT-Components collection by AIST

TORK

Tokyo Opensource Robotics Association

DAQ-Middleware

Middleware for DAQ (Data Aquisition) by KEK