概要

• SEED(ロボット)を仮想ジョイスティックで遠隔操作する
• Kinectから人を認識しその人のもとに移動する。

特徴

• SEEDをOpentRTMで動かせる
• 十六軸同時制御

仕様

• 言語: C++,Python
• OS: Windows 7

コンポーネント群

新規作成

• SEED_MOVE :コマンド生成&SEED用シリアル通信
• sendCoordinate :スケルトンデータから人の座標をとる。

再利用

概要

• Kinectで入力した絵をKobukiにGrobotを乗せて描かせる
• 発表資料のpdf、及び、モデル発表動画は こちらのページ をご覧下さい

このプロジェクトは大きく分けてロボット台車とロボットアームの制御の2つから構成されています． ～ロボット台車～ 　台車にはKobukiを使用します．Kobukiへの移動指令は，音声による入力とゲームパッドによる入力の2種類が用意されています．音声入力では，入力デバイスとしてAndroid端末を使用します．Android on RTMの音声認識アプリケーションにより，特定の音声が認識されるとそれに対応した目標座標がKobukiへ入力されます．Kobukiは目標座標へ車輪からのオドメトリ情報を参照しながら自律的に移動することができます．また，ゲームパッドによる入力では，ジョイスティックからのアナログ値の入力により，人間が直接Kobukiを操作できるようになっています．

～ロボットアーム～ Kinectから人間の腕の関節角度，コントローラからシミュレーションの計算開始の合図，及びグリッパの開閉の制御量を取得します．そして，シミュレーションの計算開始後ロボットシミュレータのOpenHRP3上で対象のロボット動かしながら，実機or ロボットシミュレーションのChoreonoid上のOrochiで動かします．動作中はシミュレーションと実機の時間を同期させて関節角度などの情報の記録を行います．

以下が作成・使用したコンポーネントです

概要

RTCをインターネットに公開するためのRSNP Gateway RTCを当研究室で昨年開発したが、1．AR(Argument Reality)サービス以外への展開、2．ARサービス以外に適用する際の通信速度向上及び、3．Visionモジュール以外での接続を課題としている。適用範囲を拡大するための解決方法として、KinectをRSNP Gateway RTCに接続するKinectRTCに着目、ジェスチャーを使ったオンラインドキュメントサービス(手の位置情報を用いて複数人同時の編集を可能にするサービス)の考案を試みた。また、配信型通信方式の実装により、ストレスを感じさせない通信速度を確保し、通信速度の向上を試みた。さらに、公開済のKinectRTCにおける座標の取得範囲が全身をカバーするものであり、手の座標取得が安定しないこと、手のモーション入力が実装されていないため 、RSNP Gateway RTCに接続する新たなKinectRTC開発を試みた。 これにより、全身および腕によるモーションでの入力インターフェースを増やし、これまでターゲットにならなかったユーザ層及び、新規分野へアプローチを試みた。