教室内の注目度計測RTコンポーネント

教室内の注目度計測RTコンポーネント

投稿者: 
下山未来
教室内の注目度計測RTコンポーネント

概要

授業中に集中せず読書やスマホ,寝ている学生は少なくありません. 授業に集中してもらうため,また,先生の学生を注意する手間を省くために注目度を測定するRTCを開発しました. 教室内をカメラで見回し,最初に検出した顔と指定時間後に検出した顔の数から注目度を計算します. 注目度が低い場合は警告としてアラームを鳴らすことができるため,学生の注目度を上げることが可能です. 注目度は静止画像に載せて保存されるので後から様子を視覚的に確認することができます.

特徴

  • 教室内の注目度を計算するRTC
  • 顔検出RTCから発表者を向いている顔の数を受け取る
  • 注目度が低い場合はアラームを鳴らす
  • 追尾カメラロボットのモータを利用することが可能
  • 注目度を表示した画像を保存可能

仕様

  • 言語: C++
  • OS:Windows 10(64bit)
  • OpenRTM-aist-1.1.0

このページで公開しているRTC

  • Attention_degree-----------:顔検出RTCから一定時間後に注目度を計算し,注目度が低い場合はアラームを鳴らします.サウンドファイルも入っています.

ソース&実行ファイル/マニュアル/紹介動画

  • 紹介動画は -->ここ<-- で見ることができます.
  • 概要は-->ここ<-- で見ることができます.
  • マニュアルは-->ここ<-- で見ることができます.
  • 発表当日の資料-->ここ<-- で見ることができます.

 参考

更新履歴

  • 2016/10/31 ファイルをアップロード
  • 2016/11/2 Attention_degreeのRTCにサウンドファイルがなかったため,サウンドファイルを入れたものに更新しました.
  • 2016/11/2 Attention_degreeの機能として注目度が表示された画像を指定したフォルダに保存することを追加しました.ユーザーマニュアルもver.1.1に更新しました.
  • 2016/11/10 Attention_degreeをsleepのない処理に変更しました.また,画像データが取得できないときは画像保存を行わないよう変更しました.
  • 2017/1/12  大変遅くなりましたが,発表当日の資料を掲載しました.
問合先(メールアドレス): 
md16042@shibaura-it.ac.jp
Resources
Project Information
OS: 
Windows
言語: 
C++
OpenRTM ver.: 
1.0
Average: 
3.5
Average: 3.5 (2 votes)
最終更新日時: 
木, 2017-01-12 20:04

コメント

投稿者: 

ソースコードを読んでみたのですが、以下の点が気になりました。

  • AlarmSound.wavというファイルが見つかりませんが、どこにあるのでしょうか?
  • Picture_Save_Folderというコンフィギュレーションパラメータなのですが、画像保存の部分でこのパラメータが使われていないのには何か理由があるのでしょうか?
  • Voice_Output関数なのですが、CORBA::string_dup関数で以下のように記述するのが一般的だと思います。

 m_Voice.data = CORBA::string_dup(str);
 m_VoiceOut.write();
 Sleep(time);

投稿者: 

Miyamoto Nobuhiko様

コメントありがとうございます.芝浦工業大学の下山です. 以下にお答えいたします.

• AlarmSound.wavというファイルについて

大変申し訳ありません.ファイルを載せるのを忘れていました.Attention_degree.zipの中に入れ,更新いたしますのでお待ちいただければと思います.また,個人でアラームにしたいサウンドファイルをAlarm_Sound.wavという名称にしてもご使用いただけます.

• Picture_Save_Folderというコンフィギュレーションパラメータについて 

注目度の時間推移をカメラ画像と同時に保存することで,いつ注目度が高かったかを視覚的に確認することができると思い,現在注目度を表示した画像保存を検討中です.検討中のため現在の内容にはパラメータは記述していません.Img_Saveという関数の中に記述する予定です.保存が有効であると確認でき次第適用し,マニュアルにも反映いたします.

• Voice_Output関数について 

ご指摘ありがとうございます.修正いたします.

投稿者: 

芝浦工大の下山未来です.

サウンドファイルがなかったため,公開しているRTCのAttention_degreeの中にサウンドファイルを入れて更新しました. ご確認ください.

投稿者: 

画像保存の機能を追加しました.

芝浦工大の下山未来です.

新しい機能として,画像を保存することを追加しました.それに合わせてマニュアルのバージョンも変更しましたのでご確認ください. この機能により,授業後でも授業の様子と注目度を静止画で時間ごとに確認することができます.

投稿者: 
産総研の高橋です.更新ありがとうございます.
内容を確認させていただきました.
非常に面白いアイデアのシステムだと感じました(実際の講義でどの程度効果があるかも興味深いですが・・・).
3点コメントさせていただきます.
・画像データが取得できない場合でも,画像保存等の処理が進んでしまうので,エラーの場合は処理を抜けるようにした方が安全だと思います.
・モータを利用する場合の角度が3角度固定になっているので,もう少し汎用性がほしいと感じました(このあたりが工夫できれば,複数カメラからの入力にも拡張できると思いますので)
・onExecute内でsleepする処理が複数ありますが,スレッド化するなど処理を止めない設計は難しいでしょうか(あまりリアルタイム性の必要なシステムではないのは承知していますが)
投稿者: 
ご覧いただきありがとうございます.芝浦工大の下山です.
本システムで11月中に実際の授業や講演の場を借りて実証実験を行うことを予定しています.
何度か挑戦する予定ですので,効果は後日お知らせいたします.

・画像データが取得できない場合
ご指摘ありがとうございます.後日エラーの場合の処理を追加し,更新いたします.

・モータの角度固定
現在は角度を3角度で固定してありますが,顔の位置情報を取得し,その情報から細かいカメラの向きの調整も可能ではないかと検討しています.
位置情報をモータの回転ごと同期できればカメラの回転後も同じ顔を検出しないことが可能です.
複数のカメラというご提案もありがとうございます.今後の参考に致します.

・sleepについて
sleepは処理を止めてしまうため避けたいものではありますが,あまりシビアなシステムではないという判断で使用いたしました.
スレッド化も含めて設計を見直したいと思います.

投稿者: 

教室内の注目度計測RTコンポーネント 更新

芝浦工大の下山です.
画像取得ができなかった場合保存を行わない処理を追加し,更新いたしましたのでお知らせいたします.
投稿者: 

度々すみません。

attention_degreeをDebugでビルドしているようなのですが、配布する際はReleaseでビルドする事をお勧めします。

投稿者: 
芝浦工大の下山です。
何度もご指摘ありがとうございます。
どのような細かいことでもご指摘いただければ幸いです。
今まで公開したものもDebugでのビルドを行っていました。
今後の参考にも致します。

ダウンロード

最新バージョン

初めての方へ

Windows msi(インストーラ) パッケージ (サンプルの実行ができます。)

C++,Python,Java,
Toolsを含む
1.2.0-RELEASE

RTコンポーネントを開発するためには開発環境のインストールが必要です。詳細はダウンロードページ

統計

Webサイト統計
ユーザ数:1761
プロジェクト統計
RTコンポーネント292
RTミドルウエア23
ツール20
文書・仕様書1

旧Webサイト

OpenRTM.org旧Webサイト

OpenHRP3

動力学シミュレータ

Choreonoid

モーションエディタ/シミュレータ

OpenHRI

対話制御コンポーネント群

OpenRTP

統合開発プラットフォーム

産総研RTC集

産総研が提供するRTC集

TORK

東京オープンソースロボティクス協会

DAQ-Middleware

ネットワーク分散環境でデータ収集用ソフトウェアを容易に構築するためのソフトウェア・フレームワーク

VirCA

遠隔空間同士を接続し、実験を行うことが可能な仮想空間プラットホーム