HAIKUCAMS3[YOLOv10,GPT-4o,M5Stack CoreS3 ESP32S3]

完成 2024.07.20 公開（2024.07.20 更新） © CC BY 4+ visibility340

完成 © CC BY 4+

2024.07.20 公開（2024.07.20 更新） visibility340

YOLOv10の精度が良い物体検出モデルで特定のオブジェクトを認識させた画像をGPT-4oの機能で俳句にしています。日常に潜む俳句を沢山作成していただければ、とても楽しめると思います。

link https://youtu.be/GBpy3XxP4Fw

sell AI, IoT, Python, 機械学習, 物体検出, 自然言語処理, C++, PlatformIO, ChatGPT API, 学生, visual Studio Code, M5Stack CoreS3 ESP32S3 IoT開発キット, YOLOv10, GPT-4o, Artificial Intelligence, DL, Deep Learning, 深層学習, 画像分析, NLP

動画

開発素材: ツール

PlatformIO

Visual Studio Code

YOLOv10

API

ChatGPT API

GPT-4o

デバイス

M5Stack CoreS3 ESP32S3 IoT開発キット

システム構成

1.電源を起動したらWiFiが接続されるまで待ちます。

2.M5Stack CoreS3カメラが起動したら鳥や猫や犬などを実物か画像で見せます。

3.しばらく待つと俳句と物体検出されている画像がM5Stack CoreS3の画面で確認できます。

After activating the power supply, wait until WIFI is connected.
When the M5Stack CoreS3 camera is activated, show the bird, cat, dog, etc. in the real or image.
Wait for a while and you will see the haiku and the image of the object being detected on the M5Stack CoreS3 screen.

ストーリー: YOLOv10の精度が良い物体検出モデルで特定のオブジェクトを認識させた画像をGPT-4oの機能で俳句にしてもらうことで、俳句のテーマやトピックを明確に設定ができ、具体的な要素を取り入れることができます。現在話題のGPT-4oで高速な処理も可能となり待ち時間も少ないです。日常に潜む俳句を沢山作成していただければ、とても楽しめると思います。

By having images of specific objects recognized by YOLOv10's highly accurate object detection model and then using GPT-4o's functions to create haiku, the theme or topic of the haiku can be clearly set and specific elements can be incorporated. The GPT-4o, which is currently a hot topic, also enables high-speed processing and low latency. We think you will enjoy it very much if you create many haiku that are hidden in your daily life.

今回のプロジェクトは M5Stack CoreS3 ESP32S3 IoT開発キットと最新のAIを組み合わせることで新しいものを生み出せると思い制作していきました。そこで私は短い詩だけど言葉に深い意味ある好きな俳句と生成AIを組み合わせてみました。しかし、画像を俳句にしてもらうだけでは画像全体がメインの俳句となり、毎回異なるメインテーマになるので一貫性がありません。なので、そこに物体検出を組み合わせることで、俳句のテーマやトピックを明確に設定ができ、具体的な要素を取り入れることができました。 WiFiが繋がっていればどこでもできます。 GPT-4oには事前に五・七・五の俳句を作成してほしい。()でフリガナをいれないでください。画像はYOLOで物体検出をしています。などの細かいプロンプトを沢山入れています。見た目は令和版の小林一茶を再現しています。小林一茶は、猫を詠んだ俳句が300以上もあるので元々猫の画像で実装していきましたが、外にでると野生の猫が見つからないので今回は野生のハトさんを撮影して、映像を制作しました。 M5Stackと最新のAIを組み合わせることによって、まだまだ新しいものが生み出せると思います。とても楽しみですね。

This project was I created this project because I thought I could create something new by combining the M5Stack CoreS3 ESP32S3 IoT development kit and the latest AI. So I tried to combine my favorite haiku, which are short poems but have deep meaning in words, with a generative AI. However, just having an image be the main haiku, the entire image would be the main haiku, and the main theme would be different each time, so there would be no consistency. So by combining object detection there, I was able to clearly set the theme or topic of the haiku and incorporate specific elements. It can be done anywhere as long as there is a WiFi connection. We want GPT-4o to create 5-7-5 haiku in advance. Please do not put furigana in (). The image is using YOLO for object detection. We have included many detailed prompts such as the following. The appearance is a reproduction of the 2025 version of Kobayashi Issa. Kobayashi Issa has more than 300 haiku written about cats, so we originally implemented it with images of cats, but when we went outside we couldn't find any wild cats, so this time we filmed wild pigeons to create the video. By combining M5Stack with the latest AI, I think we can still create something new. I am very much looking forward to it.

メンバー