このプロジェクトは大きく分けてロボット台車とロボットアームの制御の2つから構成されています． ～ロボット台車～ 　台車にはKobukiを使用します．Kobukiへの移動指令は，音声による入力とゲームパッドによる入力の2種類が用意されています．音声入力では，入力デバイスとしてAndroid端末を使用します．Android on RTMの音声認識アプリケーションにより，特定の音声が認識されるとそれに対応した目標座標がKobukiへ入力されます．Kobukiは目標座標へ車輪からのオドメトリ情報を参照しながら自律的に移動することができます．また，ゲームパッドによる入力では，ジョイスティックからのアナログ値の入力により，人間が直接Kobukiを操作できるようになっています．

～ロボットアーム～ Kinectから人間の腕の関節角度，コントローラからシミュレーションの計算開始の合図，及びグリッパの開閉の制御量を取得します．そして，シミュレーションの計算開始後ロボットシミュレータのOpenHRP3上で対象のロボット動かしながら，実機or ロボットシミュレーションのChoreonoid上のOrochiで動かします．動作中はシミュレーションと実機の時間を同期させて関節角度などの情報の記録を行います．

以下が作成・使用したコンポーネントです

このプロジェクトは機能的に大きく２つに分かれています． １つはOROCHIの手先に固定したKinectを使用してOROCHI正面に座っている人の顔を検出してOROCHIがその人の顔を追うように動きます． もう１つの機能は，Bluetoothモジュールを備えた車型ロボットの頭部にARマーカーを付け，その上方に設置されたもう一台のKinectを使用して車型のロボットの位置を検出し，ロボットの動きを制御するというものです． 最終的に，OROCHIで検出した顔の輪郭に沿うように車型ロボットが走行することを目標とします．

以下が作成・使用したコンポーネントです

括弧内の文字の説明

・既存:既存のRTCを使用 ・編集:既存のRTCを修正 ・新規:新規に作成したRTC