Kinect

Author: 
kawauchi

概要

  • SEED(ロボット)を仮想ジョイスティックで遠隔操作する
  • Kinectから人を認識しその人のもとに移動する。

特徴

  • SEEDをOpentRTMで動かせる
  • 十六軸同時制御

仕様

  • 言語: C++,Python
  • OS: Windows 7

コンポーネント群

新規作成

  • SEED_MOVE :コマンド生成&SEED用シリアル通信
  • sendCoordinate :スケルトンデータから人の座標をとる。

再利用

    Author: 
    kawauchi

    概要

    • 机の上の任意の位置にある汚れをKinectを用いて検知して,ロボットアームOROCHIを制御して拭き掃除を行う.
    • 入力画像に対して画像処理を施し,アームを基準とした汚れ位置の相対座標を出力する画像処理RTC群.
    • 受け取った汚れ位置の座標までアームを移動させ,そこで机を拭く動作をさせるアーム制御RTC群.

    特徴

    • 二値化,エッジ検出,領域判別などの画像処理を行い,一定の大きさを超えると汚れと判断し,基準点からの距離を計算する.
    • アームは特異点を避けるために作業姿勢を変更した後,手先の絶対位置・姿勢に対して,直交座標系での直線移動を行う.

    仕様

    • 言語: C++
    • OS: Windows 7, Linux(Ubuntu)

    コンポーネント群

    新規作成

    • edge_find :画像処理
    Author: 
    kawauchi

    概要

    • Kinectで入力した絵をKobukiにGrobotを乗せて描かせる
    • 発表資料のpdf、及び、モデル発表動画は こちらのページ をご覧下さい

    Author: 
    kawauchi

    概要

    Author: 
    みよし

    このプロジェクトは大きく分けてロボット台車とロボットアームの制御の2つから構成されています. ~ロボット台車~  台車にはKobukiを使用します.Kobukiへの移動指令は,音声による入力とゲームパッドによる入力の2種類が用意されています.音声入力では,入力デバイスとしてAndroid端末を使用します.Android on RTMの音声認識アプリケーションにより,特定の音声が認識されるとそれに対応した目標座標がKobukiへ入力されます.Kobukiは目標座標へ車輪からのオドメトリ情報を参照しながら自律的に移動することができます.また,ゲームパッドによる入力では,ジョイスティックからのアナログ値の入力により,人間が直接Kobukiを操作できるようになっています.

    ~ロボットアーム~ Kinectから人間の腕の関節角度,コントローラからシミュレーションの計算開始の合図,及びグリッパの開閉の制御量を取得します.そして,シミュレーションの計算開始後ロボットシミュレータのOpenHRP3上で対象のロボット動かしながら,実機or ロボットシミュレーションのChoreonoid上のOrochiで動かします.動作中はシミュレーションと実機の時間を同期させて関節角度などの情報の記録を行います.

    以下が作成・使用したコンポーネントです

    Author: 
    f2um2326

    このプロジェクトは機能的に大きく2つに分かれています. 1つはOROCHIの手先に固定したKinectを使用してOROCHI正面に座っている人の顔を検出してOROCHIがその人の顔を追うように動きます. もう1つの機能は,Bluetoothモジュールを備えた車型ロボットの頭部にARマーカーを付け,その上方に設置されたもう一台のKinectを使用して車型のロボットの位置を検出し,ロボットの動きを制御するというものです. 最終的に,OROCHIで検出した顔の輪郭に沿うように車型ロボットが走行することを目標とします.

    以下が作成・使用したコンポーネントです

    括弧内の文字の説明

    ・既存:既存のRTCを使用 ・編集:既存のRTCを修正 ・新規:新規に作成したRTC

    Author: 
    a1148sh
    モーションキャプチャデバイスを利用可能にする RSNP Gateway RTCの開発

    概要

    RTCをインターネットに公開するためのRSNP Gateway RTCを当研究室で昨年開発したが、1.AR(Argument Reality)サービス以外への展開、2.ARサービス以外に適用する際の通信速度向上及び、3.Visionモジュール以外での接続を課題としている。適用範囲を拡大するための解決方法として、KinectをRSNP Gateway RTCに接続するKinectRTCに着目、ジェスチャーを使ったオンラインドキュメントサービス(手の位置情報を用いて複数人同時の編集を可能にするサービス)の考案を試みた。また、配信型通信方式の実装により、ストレスを感じさせない通信速度を確保し、通信速度の向上を試みた。さらに、公開済のKinectRTCにおける座標の取得範囲が全身をカバーするものであり、手の座標取得が安定しないこと、手のモーション入力が実装されていないため 、RSNP Gateway RTCに接続する新たなKinectRTC開発を試みた。 これにより、全身および腕によるモーションでの入力インターフェースを増やし、これまでターゲットにならなかったユーザ層及び、新規分野へアプローチを試みた。

    Author: 
    s-kurihara
    RT_Kinect_UserTracking

    概要

    Kinectセンサーから全身(head, neck, shoulder, elbow, hand, torso, hip, knee, foot)の位置を取得し、アウトポートから出力するコンポーネントです。

    latest Releases

    For Begginers

    Windows msi(installer) package (only trying samples)

    Development environment is required for RT-Component development. See download page for details.

    Number of Projects

    Join our slack

    Enter email address for slack invite.

    OpenHRP3

    Dynamics simulator

    OpenHRI

    Human-Robot-Interaction RTCs

    OpenRTP

    Integrated Development Platform

    OpenINVENT

    Mobile Robot RTCs