- たこ焼きの液を入れる
- カメラから入力された画像をもとに、Raspberry PiでYOLOのオリジナルデータを使用し、たこ焼きが液体の状態、焼き目が付いた状態の二種類に処理する
- たこ焼きが液体と判断された場合、2分30秒待ってからたこ焼き器の電源をオンにする
- たこ焼きに焼き目が付いたと判断され、またプログラムが実行されてから5分が経過した場合たこ焼き器の電源がオフになる 以上が大まかな流れです。
使用技術
YOLO 今回画像処理にYOLOv8nを使用しました。 Raspberry Piで画像処理AIを動かす必要があったので、処理をできるだけ軽くするため、判定を二種類に限定しました。また、たこ焼きというデータがオープンソースで無かったので自分で制作し、液状態をtakoyaki0、焼き目状態をtakoyaki1としました。
Switch bot API プログラム上でデバイスを制御するために、APIを取得し、SwitchBotプラグミニを制御しました。
LabelImg たこ焼きの焼き加減のデータを作成するために使用しました。データの枚数としては100~150枚程度で作成をしました。
VOICEVOX デバイスの電源ON/OFFの切り替えがわかりにくいため、ずんだもんを使用し、電源が変わったことをわかりやすくお知らせします。