M5Stack Timer Camera Xで作るAI自動点灯ライト【手を自動認識】

完成 2021.09.05 公開（2021.09.05 更新） © CC BY 4+ visibility1809

完成 © CC BY 4+

2021.09.05 公開（2021.09.05 更新） visibility1809

手を認識すると自動で点灯／消灯するLEDライトです。
Automatically turns on and off when it recognizes hand.

link https://github.com/mongonta0716/esp-who/tree/add_handpose_estimation_web_with_led

sell M5Stack, M5Stack_contest_2021, M5Camera, esp-idf, M5TimerCameraX

動画

開発素材: デバイス

M5Stack LEDテープ

M5Stack ESP32 PSRAM Timer Camera X (OV3660)

API

esp-who

esp-idf

システム構成

用意するもの

用意するものはM5Stack TimerCameraXとLEDテープのみです。LEDテープに付属するGroveケーブルで接続します。

改変元

esp-whoのexamplesにあるhandpose_estimation_webを改変して実現しました。handpose_estimation_webはブラウザ経由で動画を確認しながら手の検出を行うサンプルで、実際に稼働させるときはhand_detection_with_command_lineを改変した方が楽だと思います。

使用した環境

Ubuntsu 20.04
esp-idf v4.4
esp-who
examples/single-chip/handpose_estimation_webを改変しました。
FastLED-idf
componentsを利用しています。

ビルドするまでの簡単な手順

esp-whoのサンプル(handpose_estimation_web)をビルドする手順です。（LEDと連携はしません。）

esp-idfをセットアップし、idf.pyを実行できる環境を作ります。
esp-whoをgit cloneします。※ add_handpose_estimation_web_with_ledブランチです。
git clone https://github.com/mongonta0716/esp-who/tree/add_handpose_estimation_web_with_led
サブモジュールをupdateします。
cd esp-who
git submodule update --init --recursive
esp-who/examples/single-chip/handpose_estimation_web_with_led に移動します。
idf.py menuconfig を実行し、「Camera Web Server」の下記の項目を設定します

WiFi Settings
- Camera Host Name
  任意のホスト名<例、m5camera>
- WiFi STA SSID
- WiFi STA Password
Camera Pinout
- M5Stack Camera With PSRAM
[*]ESP-WHO Hand Detection
[*] ESP-WHO Hand Pose Estimation

M5TimerCameraXをPCに接続し、 idf.py -p /dev/ttyUSB0 -b 1500000 flash monitor を実行します。
起動するとIPアドレスがシリアルモニターに表示されるのでブラウザで開くと操作ができるようになります。
Resolution - QVGA(320x240)を選択
Hand DetectonをON
「Start Stream」をクリックするとストリーミングが開始され手を認識できるようになります。

注意事項

FastLEDとカメラが干渉するらしく、不定期でストリーミングが停止してしまう不具合があります。粘ったのですが、現象を回避できませんでした。実際に使う場合はhand_detection_with_command_lineを改変した方がいいと思います。

ストーリー: esp-whoというプロジェクトをTwitterで知り、ESP32単体でも顔認識や手を認識するということができることが分かりました。

実際に試してみたところ顔の検出はあまり精度が良くなかったのですが、手を検出する精度はかなり良かったので便利だなと思いLEDテープと組み合わせて自動点灯ライトを作ってみました。

「着席／離席を自動で検出したいと思っているけど、カメラで自分を常時撮影することは抵抗がある。」という方にはぴったりのソリューションだと思います。

今回は分かりやすくするためにLEDテープと連携していますが、ESP32を利用してWiFi通信で他のM5Stackシリーズとの連携を行ったり、BLEキーボードデバイスとしてPCと連携したり様々な応用が考えられます。

I found out about the esp-who project on Twitter, and learned that the ESP32 alone is capable of recognizing faces and hands. When I tried it out, I found that the accuracy of face detection was not very good, but the accuracy of hand detection was pretty good, so I thought it would be useful to combine it with LED tape to make an automatic lighting light.

This is a great solution for people who want to automatically detect when someone is seated or unseated, but don't want to constantly capture themselves with a camera.

For the sake of clarity, we have linked it with LED tape, but it can be applied in various ways, such as linking with other M5Stack series via WiFi using ESP32, or linking with a PC as a BLE keyboard device.

メンバー