デスクトップでもAIｽﾀｯｸﾁｬﾝ

ｽﾀｯｸﾁｬﾝのアバターをデスクトップアバターに改造たものと、Speech to Speech のアプリも作成しました。デスクトップでもAIｽﾀｯｸﾁｬﾝを召喚できます。

動画

開発素材

ツール

PlatformIO

VOICEVOX

openai whisper

API

OpenAI API

システム構成

アバタープログラム https://github.com/u-tanick/m5stack-avatar-on-WinPC

M5Stack用のアバタープログラムを元に、イナバ(@hollyhockberry)さんの記事にあったm5stack-avatar をPC上で動かす という仕組みを元に、デスクトップ上の音量に合わせてアバターの口を開閉させてみました。

S2Sプログラム https://github.com/u-tanick/speech-to-voicevox-speech-sample

話しかけた声を元に、生成AIで作成した回答をVOICEVOXの音声で返すSpeech to Speech アプリケーションです。

S2Sプログラムは、音声認識にWisperを使用し、受け取った音声のテキストを元にOpenAIに質問を投げ、回答のテキストをVOICEVOXのローカルインストール版のAPIを使って音声化してしゃべってもらいました。アバタープログラムは完全に口パクですが、このS2Sとセットで利用することであたかもしゃべっているかのような使い方・見せ方ができます。

動画にもある通りVOICEVOXの声は「ずんだもん」を使用しています。

ストーリー

もともとはM5Stackを利用した手乗りロボットｽﾀｯｸﾁｬﾝをいろいろいじっていたところからなのですが、生成AIを利用したヒューマンインタラクションは個人的にも興味が強いのでロボットもソフトもいろいろ楽しくいじっていきたいですね。

メンバー

• 

  くうねる @uk59

同じニオイがする作品

• MINOSAMA 〜教えて　みのさん〜
• フードコート Pepper
• プライベート
• Kobots コネクト・カスタマイズ・ロボット