生成AIミニ四駆

完成 2024.06.06 公開（2024.06.07 更新） © CC BY 4+ visibility673

完成 © CC BY 4+

2024.06.06 公開（2024.06.07 更新） visibility673

子供のころ、トイストーリーみたいにおもちゃと仲良くしたいと思っていませんでしたか？そんな思いかなえました。一緒に走れて、話せて、歌える　そんなおもちゃをミニ四駆で作ってみました。

link https://youtu.be/_IIfimJSAa8?si=MtloJ0DUzf_ubcnx

folder アプリケーション, データサイエンス / AI / BOT, 電子工作, ロボット, IoT, インタラクティブデザイン, 楽器, ピカピカ

sell AI, IoT, Python, ミニ四駆, ロボット, 自然言語処理, Generative AI

動画

開発素材: ツール

Arduino IDE

デバイス

M5Stack Core2

API

ChatGPT

ChatGPT API

システム構成

システム構成

入力デバイス:

マイクロフォン: 音声入力を取得し、音声認識ライブラリ（speech_recognition）を使用してテキストに変換

処理デバイス:

Pythonスクリプト:
- 音声認識結果をOpenAI APIに送信し、自然言語応答を取得
- Google Translate APIを使用して、必要に応じてテキストを翻訳
- シリアル通信を介してArduinoにコマンドを送信
Arduino:
- BluetoothSerialを介してPythonスクリプトからのコマンドを受信
- M5Unifiedを使用して、ディスプレイに表情を表示し、スピーカーで音楽を再生
- 各種ピンを制御してモータの動作やLEDの点灯を実行

出力デバイス:

M5Stackディスプレイ: 表情を表示
スピーカー: 音楽を再生
モータとLED: 指示に応じた動作を実行

ストーリー

生成AIミニ四駆の概要

生成AIミニ四駆は、子供から大人まで楽しめるインタラクティブなおもちゃとして開発されました。生成AIの技術を活用することで、ユーザーは単なる操作だけでなく、コミュニケーションを通じてミニ四駆とインタラクションを取ることができます。音声認識と自然言語処理を用いて、直感的かつ自然なインターフェースを実現しました。

デモ動画と詳細な機能紹介

https://youtu.be/_IIfimJSAa8

音声による指示と動作のデモ

概要
ユーザーがマイクに向かって指示を出すと、ミニ四駆がその指示に従って動作する様子を撮影した動画。

会話 https://youtube.com/shorts/WKTkS_Pl_Xs

動作 https://youtube.com/shorts/mqWhGuoF8g4?feature=share

機能

モータへの指示: ユーザーが「前に進んで」と指示すると、ミニ四駆が前進する。
LED点灯のコントロール: ユーザーが「LEDを3回点灯して」と指示すると、指定回数LEDが点滅する。

ポイント

自然言語指示に対するリアルタイムの応答。
揺らぎのある指示にも対応する柔軟性

複雑な指示への対応デモ

概要
ユーザーが「モータを1動かしてください。そのあとLEDを３回光らせて、そのあとにモータを0.5秒動かしてください」といった複雑な指示を与えると、ミニ四駆がその通りに動作する様子を撮影した動画。

https://youtube.com/shorts/4njfucFQPDY?feature=share

機能

複雑な指示を理解し、正確に実行するAIの能力。

ポイント

各ステップの動作がスムーズに連携していること。
それを元に行動計画を立てる。

歌の演奏デモ

概要
ユーザーが「きらきら星を歌って」と指示すると、ミニ四駆がその曲を演奏し始める様子を撮影した動画。

https://youtube.com/shorts/zpuukDLEZBI?feature=share

機能

特定の歌を歌う:
- きらきら星: ユーザーが「きらきら星を歌って」と指示すると、ミニ四駆がこの曲を演奏。
- おもちゃのチャチャチャ: ユーザーが「おもちゃのチャチャチャを歌って」と指示すると、ミニ四駆がこの曲を演奏。
自由に曲を探して歌う: ユーザーが特定の曲を指定せずに「歌って」と指示すると、ChatGPTが曲を選び、ミニ四駆がその曲を演奏（例: 「ハッピーバースデー」や「メリーさんの羊」）。

ポイント

自動で曲を調べて演奏するAIの能力。
演奏中のスピーカー音と表情の変化。

他にも教えていなくても自由に演奏してくれます

ジングルベル

https://youtube.com/shorts/8s2Kk0WjIYw?feature=share

ハッピーバースデー

https://youtube.com/shorts/Pk2Pty5G-sc?feature=share

メリーさんの羊

https://youtube.com/shorts/yPqJvWAtqlcallowfullscreen

自由な指示のデモ

概要
ユーザーが「好きなことを3して」と指示すると、ミニ四駆がランダムに選んだ5つの動作を順に実行する様子を撮影した動画。

https://youtube.com/shorts/ZT8FL8d1s54?feature=share

機能

ランダム性と多様な動作の組み合わせ。
動作ごとのM5Stackでの表情表示:
- ミニ四駆の動作に応じて、ディスプレイに異なる表情を表示。
- 前進時: 驚きの表情。
- LED点滅時: 笑顔の表情。

ポイント

ミニ四駆の自主性を感じさせるインタラクション。

生成AIの活用

このプロジェクトでは、生成AIを幅広く活用しています。

開発プロセス: 開発はChatGPTとともに進行しました。Arduino側のCコードとPythonコードを並行して開発し、Pythonコードを書いている間にChatGPTにCコードを書いてもらいました。その結果を待っている間にPythonコードを修正することで、開発スピードを大幅に向上させました。
この記事: このプロジェクトの紹介記事は、ChatGPTに全文を書いてもらっています。
動画の画像: デモ動画に使われている画像は、DALL-Eで生成しました。
動画の音楽: 動画に使われている音楽は、Suno-AIで生成しました。

これにより、生成AIミニ四駆は生成AIを駆使し、短期間で効率的に開発されました。