ゲームの使用方法を説明するチュートリアルを行った後、リズムが少し複雑な曲をプレイできるようにしています。
チュートリアルと本番どちらも共通の流れで処理しています。
Scratchは表情の指示を出す
小節の始まる秒数を計測し、そのタイミングで◯の位置に指示のアイコンが行くようにします。ユーザーは指示に従って表情を作り、顔画像を撮影する
Teachable Machineで表情を判定する
指示のアイコンが◯と接触しているときに、表情を判定します。 判定に利用する画像は、PCの内蔵カメラで撮影したユーザーの顔画像です。 顔画像を入力すると、以下の4つの表情に分類するよう、学習しました。- 口を閉じて笑う
- 口を開けて笑う
- 右口角上げる
- 左口角上げる
Teachable Machineは判定結果を返す
Scratchは判定結果に応じて、指示通りの表情をしていれば、以下の処理を行う
- スコアの加算
- スコア:◯と指示のアイコンが重なっているときに、指定された表情を0.1秒すると、スコアが1加算
- トータルのスコアと、表情ごとのスコアどちらも計測
- 効果音を鳴らしたり、◯の周りに放射線状のエフェクトをかける
- 入力画像に対して、システムがフィードバックすることで、ユーザに安心感を持たせるため
- スコアの加算
(本番のみ)曲が終了次第、結果を表示する
トータルスコアと、得意・苦手な表情を表示します。 表情ごとのスコアを元に、スコアが最高の表情を「得意な表情」、最低の表情を「苦手な表情」としました。
表情を使った音ゲー、面白そう!
「幸福だから笑うのではない、笑うから幸福なのだ」という言葉のとおり、笑顔はとても大切ですよね。自然な笑顔を作るには表情筋のトレーニングが必要とも言われますが、リズムゲームと合わせて、表情を作れるのが良いと思います!リズムに合わせて、笑顔を鍛えて、幸福な人を増やしましょう!