概要

• ペットロボット「ポンポン」は、人を認識し、ペットのように主人を迎え入れ、親しみのある仕草を見せるロボットシステムである。
• メインタスクは3つあり：
  1. 1. センサーを用いて障害物を自動的に回避し主人を探すこと。
  2. 2. YOLOや物体検出モデルによる人の検出および顔認識によって主人を識別すること。
  3. 3. ロボットアームを用いて尾を振るような動きを再現し、感情表現を行うことである。
• メインタスクに加え、主人が特定のハンドジェスチャを行った場合、手を振る動作や芸を披露するなど追加のインタラクションを実現できる。
• 本システムは移動プラットフォームとセンサーを組み合わせることで、安全に障害物を回避しつつ、自然にペットのような迎え入れ動作を可能とし、親和的なヒューマン・ロボットインタラクションを創出する。

特徴

• 人検出: YOLOによる人間の認識
• 顔認識: 物体検出モデル＋face_recognitionライブラリ
• 感情表現: ロボットアームによる尻尾のような動作
• オプション: ハンドジェスチャによる制御（手を振ると尻尾を振る／特定ジェスチャで芸披露）

仕様

• 言語: Python, C++
• OS: Linux, Windows

コンポーネント群

新規作成

• person_bridge: このRTCの機能は、ROSで起動したカメラを用い、YOLO認識モデルを実行し、その結果として得られるROSのトピック情報をOpenRTMへブリッジすることである。
• face_bridge: このRTCの機能は、ROSで起動したカメラを用いて顔認識モデルを実行し、その結果として得られるROSのトピック情報をOpenRTMへブリッジすることである。
• mainRTC: 主ロジック制御では、以下の全ての機能を連携させる役割を担う。 人を検出 → 移動プラットフォームが接近 → 顔を確認 → ロボットアームが動作 → 全て終了後リセット。

再利用

• KobukiAIST: 移動プラットフォーム（台車）の制御RTC
• RobotController: Kobukiとの通信・制御用RTC
• CraneplusRTC: CRANE+ 機械アーム制御RTC
• ManipulatorControlSample: アーム操作用インタフェースRTC

ソースコード

https://github.com/orgs/RTMSummerCampPonpon/repositories

発表資料のpdf、及び、モデル発表動画は こちらのページ をご覧下さい。