Smiley Training：表情を鍛えるリズムゲーム

＜背景＞

大学生になってからマスクをつけていて、ここ数年、口周りで表情を表現していませんでした...
ポストコロナ時代では、マスクを外す機会も多くなり、顔を見せることが多いですが、コロナ禍以前のように笑えているか心配です...

そこで、表情を鍛えるゲームを作成することにしました！
特に、今回は笑顔を鍛えるゲームを実装しました。

しかし、ただ表情を動かすだけでは面白みがなく、続けられるようなゲームになりません。

そこで、音楽に合わせながらスコアを競いあう、太鼓の達人のようなリズムゲームを参考にして、
表情を鍛えることが楽しくなるようにしました！

表情で指示する、ありそうでなかった新感覚のリズムゲームで、あなたも上手な笑顔を目指しませんか？

＜工夫ポイント＞

• 目がレールで隠されているのでプライバシー対策になったり、恥ずかしくない！
  

  • マスク生活を送ってきた私たちにとって、急に自分の顔面全てを見るのは嫌な人もいるのではないでしょうか
  • 太鼓の達人っぽいデザインを目指したら、偶然目を隠すデザインを思いつきました！
    

• ゲームの中でチュートリアルを入れたことで、説明書を読むのが面倒な人にもプレイしてもらえる！
  

• 表情を認識したときに音や放射線状のエフェクトをかけるフィードバックをつけました！
  
  

• 指示をわかりやすくするために、言葉と絵文字で説明！
  

  • 太鼓の達人の連打をイメージしたデザイン！
    
    

• 最後に得意な表情と苦手な表情を表示することで、改善できる！
  

＜今後の展望＞

飽きさせない工夫をもっと詰めたいです！

• 他の人とスコアを競い合いたい！
  • 本家Scratchのクラウド変数機能を利用するなど
• 各自の得意・苦手な表情に応じてトレーニング内容を変更したい！
• プレイできる曲数を増やしたい！
  • 生成AIで作曲したり、流行りの曲を使用するなど
• 様々な人の表情を認識できるようにしたり、鍛えられる表情数を増やしたい！
  • 表情推定APIを使用するなど
• 上手く笑顔ができたときに撮影して表示することで、モチベーションアップ！
• etc...

ゲームの使用方法を説明するチュートリアルを行った後、リズムが少し複雑な曲をプレイできるようにしています。
チュートリアルと本番どちらも共通の流れで処理しています。

1. Scratchは表情の指示を出す
   小節の始まる秒数を計測し、そのタイミングで◯の位置に指示のアイコンが行くようにします。
   

2. ユーザーは指示に従って表情を作り、顔画像を撮影する
   

3. Teachable Machineで表情を判定する
   指示のアイコンが◯と接触しているときに、表情を判定します。 判定に利用する画像は、PCの内蔵カメラで撮影したユーザーの顔画像です。 顔画像を入力すると、以下の4つの表情に分類するよう、学習しました。

   • 口を閉じて笑う
   • 口を開けて笑う
   • 右口角上げる
   • 左口角上げる

4. Teachable Machineは判定結果を返す

5. Scratchは判定結果に応じて、指示通りの表情をしていれば、以下の処理を行う

   • スコアの加算
     • スコア：◯と指示のアイコンが重なっているときに、指定された表情を0.1秒すると、スコアが1加算
     • トータルのスコアと、表情ごとのスコアどちらも計測
   • 効果音を鳴らしたり、◯の周りに放射線状のエフェクトをかける
     • 入力画像に対して、システムがフィードバックすることで、ユーザに安心感を持たせるため

6. （本番のみ）曲が終了次第、結果を表示する
   トータルスコアと、得意・苦手な表情を表示します。 表情ごとのスコアを元に、スコアが最高の表情を「得意な表情」、最低の表情を「苦手な表情」としました。