開発中

【概要】

作業しながらLINEをしてると、スマホの音が鳴ってから相手の文章読まないといけないので面倒です。

本アプリ(LINE VTuber アプリ、以下LVT)では、LINE とリアルタイムに連動して、LINEで相手が書いた台詞を読み上げてくれます。さらにCGキャラが台詞に合わせて口パクやリアクションをしてくれるので、テキストのみで手軽にvtuber 同士での会話やリアクションを楽しむことができます。


【特徴】

・LINE連動

LINE API を用いて、LINE のチャットグループの会話をクラウドサーバに送信します。クラウドサーバは会話のテキストから以下の情報を生成し、LVT からのリクエストが来たときにこれらの情報を返します。

  • 合成音声(ゆっくりボイス)
  • リアクション種別

また、LVT からも台詞をLINEチャットグループに書き込むことができます。これにはLINEのpush 通知を活用しています。

(LINEアカウントやチャットグループとの対応付け管理が面倒でした。。。)

・絵文字推定

Twitterのテキストを機械学習し、独自の絵文字推定エンジンを構築しました。

以下、お試しサイトです。

https://pit-creation.com/test_seq2emoji.html

LINEの台詞から、台詞に合う絵文字を推定することで、絵文字に応じて声のトーンを変えたり、リアクションを変化させたりします。

この仕組みにより、テキストのみから声やリアクションを変化させ、より手軽にvtuber コンテンツを作成することができます。


【応用】

LINEメッセージに画像を送るとLVT にも反映されます。これを使って、遠隔でプレゼンやネタをやることも可能です。この場合は、プレゼン会場の空気や反応がわかる手段がさらに欲しいところです。

別途動画をLVT に組み込んでやれば、実況コンテンツも作成可能。台詞と画像の書き込みだけで良いので、編集の手間を削減できます。

コメンテーターの皆さんでLINEグループ作れば、現地にいなくてもリアクション付きのコメントができたりします。新しい演出の一つとして。

チーム名
老若男子@ぼっちそん
チーム
プロトタイパー
Wow
予選に落ちても開発はやるのだよ!!!(やけくそ)