#ｽﾀｯｸﾁｬﾝ をUnitV2の音声認識でコントロール

M5Stack UnitV2 USBにマイクを接続し、大語彙連続音声認識エンジンJuliusをインストールして音声認識を行いｽﾀｯｸﾁｬﾝをコントロールできるようにしました。

動画

開発素材

デバイス

M5Stack

M5Stack UnitV2

ツール

PlatformIO

API

ｽﾀｯｸﾁｬﾝ

arduino-esp32

システム構成

ハードウェア

• ｽﾀｯｸﾁｬﾝ
  
• UnitV2 USB
  UnitV2にもマイクは付いていますが、音声認識率の向上のためUSBマイクを利用しています。
• USBマイク(サンワサプライ MM-MCU06BK)
  

unitv2_julius

ソフトウェア

1. ｽﾀｯｸﾁｬﾝファームウェア
   ｽﾀｯｸﾁｬﾝはロボさんのAIｽﾀｯｸﾁｬﾝをベースにhttpサーバとVoiceVoxの連携部分を取り出して改変しました。
2. UnitV2
   Juliusを起動して、音声認識の結果を元にｽﾀｯｸﾁｬﾝを呼び出すプログラムはpythonで作成しています。

ストーリー

UnitV2はプリインストール状態で画像認識のアプリケーションは充実しているのですが、音声認識については情報が無く、ゼロから調べて構築しました。メモリとストレージの少ないLinux上でJuliusを動かすのは苦労しましたが、ユーザー辞書を作成すると登録した単語は正確に認識してくれるようになりました。

今後はもう少し発展させて、ChatGPTと組み合わせてｽﾀｯｸﾁｬﾝと音声でコミュニケーションが取れるようにしていきたいです。

UnitV2 has a full range of image recognition applications in its pre-installed state, but there was no information on speech recognition, so I researched and built it from scratch.Running Julius on Linux with limited memory and storage was a challenge, but after creating a user dictionary, the registered words were recognized accurately.

In the future, I would like to develop it a little further and combine it with ChatGPT so that I can communicate with Stackchan by voice.

ｽﾀｯｸﾁｬﾝについて

Super-kawaii-robot ｽﾀｯｸﾁｬﾝはししかわさんが公開しているオープンソースのプロジェクトです。

・ｽﾀｯｸﾁｬﾝの紹介ページ スタックチャン（Stack-chan）（ProtoPedia） https://protopedia.net/prototype/2345 ・ｽﾀｯｸﾁｬﾝのGitHubリポジトリ https://github.com/meganetaaan/stack-chan

メンバー

• 

  紅樹　タカオ @mongonta555

関連イベント

• M5Stack Japan Creativity Contest 20232023-07-15 開催

同じニオイがする作品

• 僕とロッϟボ††娘:
• M5swarm
• AIロボット草刈機 Roktrack2
• WATASHI．自己紹介が苦手な「私」。ChatGPTで克服！