お勉強アラート

ストーリー

　勉強中に「一人だとどうしてもサボっちゃう…」と感じたことはありませんか？そんなあなたにピッタリなのが「お勉強アラート」！
この小さなボックス型ロボットが、あなたの手元をじっと見守り、ペンを置いた瞬間に優しく叱ってくれます。一人でお勉強するときの心強い味方として、あなたの学びをサポートします。

実装

　USBカメラからの画像をオブジェクト認識のNanoDetを使い、手の領域を抽出します。NanoDetを呼び出すために、ディープラーニングフレームワークのncnnを使います。

　手の領域の画像から、クラス分類の推論を行います。 クラス分類での特徴ベクトルを求めるためにCNNのMobileNetV1を使用します。また、特徴ベクトルからクラスを求める処理は、SEFRアルゴリズムを使用します。SEFRアルゴリズムはデバイスのリソースに制約がある場合にも使うことのできる分類器アルゴリズムです。

　お勉強アラートでは、 Studyingクラス、 Not Studyingクラス、Smart Phoneクラス、の クラス分類を用意しました。事前に、各クラスの画像を20枚程度ずつ集め、CoreMP135内部のオフライン処理で学習を行います。

謝辞

• お勉強アラートの外装には、@ciniml氏のCoreMP135ｽﾀｯｸﾁｬﾝの3Dプリンタ部品を使わせて頂きました。
  
• 制作にあたってのお勉強アラートの音声合成、及び動画のナレーションには、VOICEVOX (https://voicevox.hiroshiba.jp/ )を使わせて頂きました。

参考

M5Stack CoreMP135: https://docs.m5stack.com/en/core/M5CoreMP135
ncnn: https://github.com/Tencent/ncnn
SEFR: A Fast Linear-Time Classifier for Ultra-Low Power Devices: https://arxiv.org/abs/2006.04620
CoreMP135_Stackchan:https://github.com/ciniml/CoreMP135_Stackchan/

お勉強アラートは、一人で勉強する人のための学習サポート装置です。

お勉強アラートのシステム構成は以下の通りです：

1. 勉強中かどうかを判断する:

   • USBカメラで手の様子を撮影します。
   • 画像から手の位置を検出し、さらに手の形を分析します。
   • ペンを持っているかどうかを判断し、勉強中かそうでないかを推測します。

2. インタラクティブな励まし:

   • CoreMP135というデバイスのLCD画面に表情豊かなお顔を表示します。お顔の右頬には手の様子を見守るUSBカメラを表示する機能も搭載です。
   • 手の形を分析した結果により、勉強中でなければ、CoreMP135のスピーカーから声を出して、ユーザーを優しく叱ってくれます。

3. 学習効果の向上:

   • 一人で勉強しているときの心強い味方となり、学習意欲を高めます。

このシステムは、M5Stack CoreMP135の性能を活用して、ユーザーの学習をサポートするシステム構成です。