画像処理AIを用いた半自動たこ焼き機

© CC BY 4+ visibility386
© CC BY 4+
visibility386

画像処理AIを用いて、カメラからたこ焼きの焼き加減を判定し、たこ焼き器の電源を制御するシステムです。

動画
開発素材

デバイス

システム構成
system image
  1. たこ焼きの液を入れる
  2. カメラから入力された画像をもとに、Raspberry PiでYOLOのオリジナルデータを使用し、たこ焼きが液体の状態、焼き目が付いた状態の二種類に処理する
  3. たこ焼きが液体と判断された場合、2分30秒待ってからたこ焼き器の電源をオンにする
  4. たこ焼きに焼き目が付いたと判断され、またプログラムが実行されてから5分が経過した場合たこ焼き器の電源がオフになる 以上が大まかな流れです。

使用技術

YOLO 今回画像処理にYOLOv8nを使用しました。 Raspberry Piで画像処理AIを動かす必要があったので、処理をできるだけ軽くするため、判定を二種類に限定しました。また、たこ焼きというデータがオープンソースで無かったので自分で制作し、液状態をtakoyaki0、焼き目状態をtakoyaki1としました。

Switch bot API プログラム上でデバイスを制御するために、APIを取得し、SwitchBotプラグミニを制御しました。

LabelImg たこ焼きの焼き加減のデータを作成するために使用しました。データの枚数としては100~150枚程度で作成をしました。

VOICEVOX デバイスの電源ON/OFFの切り替えがわかりにくいため、ずんだもんを使用し、電源が変わったことをわかりやすくお知らせします。

ストーリー

今回なぜ半自動タコ焼き器を制作するに至ったかといいますと、制作物を決める話し合いでリーダーのお腹が空いており、どうせなら研究をする過程でお腹を満たせたらよいと考え、他のチームメンバーに、「簡単そうだし全自動タコ焼き器を作ろうぜ」と話を持ちかけ、メンバーが賛成したことが事の一端にあります。最初は全自動で作成しようとしましたが、それにはまた別の技術が必要で、期間内に完成させるのは厳しいと判断し、断念しました。結果的には電源を制御するシステムに決定し、何度もたこ焼きを焼いては、システムを改善するというサイクルを繰り返しながら、作成しました。

いざたこ焼きを作りたいが焼くのが大変だから楽をしたい。そう思った時に、使えるのがこの半自動たこ焼き機です。電源の切り替えはswitchbotを使用し、切り替えたタイミングをずんだもんの音声で分かりやすくしました。システムは一度起動すれば、焼き始めから焼き終わりまで自動でやってくれるので、見逃しても安心です。

メンバー
  • user
    たこ焼きもん @takoyaki
    • リーダー兼開発者
    • 一発屋プログラマー
    • 元ネタ発案者
  • user
    マヨ太郎 @k_hmayo
    • 開発者
    • 動画制作
    • スライド
  • user
    ソースマン @k_ysourceman
    • 開発者
    • その他すべて
    • 画像処理

関連イベント
  • event ヒーローズ・リーグ 20242024-09-02 開催
  • event アバナードHuman Impactリーグ2024-09-02 開催

同じニオイがする作品
  • event わたしとおしゃべり。~ 自分の声で喋るAI
  • event Mashup Camera - MAカメラ
  • event デジたま2 the AI
  • event 測定器をとことん使い倒したいと頑張ってみた結果…

Proto lovers ♥
user
user
user
user
user
user
user

イベントまとめ

コンテストまとめ

作品を登録しよう

モノづくりしている人に、つくった作品を見てもらえ、リアクションがもらえるかも?

close

目次


Proto lovers ♥
user
user
user
user
user
user
user