完成作品

漫才ジェネレータとは、漫才の台本テキストから、その内容に合わせた声色、ネタ画像を出しながら漫才する動画を生成する動画生成ツールです

1. 概要

漫才ジェネレータとは、漫才の台本テキストから、その内容に合わせた声色、ネタ画像を出しながら漫才する動画を生成するものです。
漫才してくれるのは可愛いハムスター2匹で、お客さんも全員ハムスターです。彼らのトークとリアクション、そして画像演出をお楽しみください。

漫才ジェネレータ中の動画に登場するハムスターは、台本の内容に応じて感情を込めて話してくれます。また、感情バランスに応じて表情を変えたりリアクションを取ってくれます。感情豊かなハムスター達を温かい目で応援してあげてください。

また、漫才ジェネレータが生成する動画では、台本に書かれてあるキーワードを抽出し、関連する画像をネットから検索してスクリーンに投射し、
ネタを盛り上げてくれます。

2. 背景

本作品はHack On Air(MBSハッカソン)2017 で開発した漫才VRの継続活動の一環として開発しました。当時のご縁もあり、芸人とエンジニアの組み合わせでMAに応募することとなりました。

この漫才VRとは、HMDを装着して実際の芸人さん(ラフ次元の空さん、ちなみに相方はツッコミ役の梅村さん)と漫才体験を楽しむもので、音声認識により提示された4つのツッコミの中から正しいと思うツッコミを発話し、採点を行うものです。

展示活動を続け、漫才VR自体は好評でした。一方、お客さんに使って頂き、感想を聞いていく過程で

正しいツッコミとは何なのか?

という命題にぶちあたりました。

3. 狙い

本ツールにより、「正しいツッコミとは何か?」を機械学習により解くことを目指しています。
漫才動画コンテンツを手軽に生成すると共に、台本データのテキストデータをクラウド上に収集します。このテキストデータと動画の視聴数・評価とを学習データとして機械学習を行うことにより、ボケに対するツッコミが

  • 無難なツッコミ(会話のパターンが発生しやすい傾向)
  • 意表を突いたツッコミ(会話のパターンが発生しにくい傾向)
  • めちゃくちゃ中途半端なツッコミ

のいずれであるかを推定し、ツッコミの妥当性を評価できるようなAIの構築を目指して(夢見て?)います。

 

なお、台本データとしてラフ次元のネタを使わせて頂くよう空さんとお話しして、(ProtoPedia には登録されていませんが)本テーマはラフ次元と共同での応募とさせて頂いています(^^;

4. リーンキャンパスモデル

https://1drv.ms/p/s!AlvIxNrZITQwh08ljlEDbWDhr64a

こちらを参照ください。

 

SYSTEM

↓←台本(テキストファイル)→↓

↓↓↓

感情推定(感情解析API@メタデータ株式会社)音声合成(VoiceText Web API@HOYA株式会社特徴語・キーワード抽出(Yahoo テキスト解析)

↓↓↓

↓↓画像検索(Twitter API)

↓↓↓

↓→レンダリング(Unity)←↓

漫才動画

チーム名
チーム芸人とエンジニア
チーム
プロトタイパー
Wow
もっと笑いを世の中に広めよう!