みんなで、あっちむいてほい

完成 2021.08.31 公開（2021.08.31 更新） © CC BY 4+ visibility199

完成 © CC BY 4+

2021.08.31 公開（2021.08.31 更新） visibility199

オンラインビデオで、みんなであっちむいてほいをやって楽しむものです。
ボタンをクリックするだけで、①指をさして、②顔の向きを判定し、③結果を表示します。
どんな年代の方もみんなで楽しむことができます。

folder アプリケーション

sell twilio_online_contest_2021

動画

開発素材: API

Twilio

クラウド

アマゾンウェブサービス（AWS）

システム構成

利用技術

Twilio

Programable Video：オンラインビデオ
Sync：Documentで、あっちむいてほいの開始、結果を通知
Assets：Websサイト配信

AWS

API Gateway：スナップショットから顔の向きを判定するAPI
Lambda：顔の向きを判定する処理を実装
Rekognition：画像分析サービス。スナップショットから顔の向きを判定

処理フロー

オンラインビデオに参加

Twilio Assetsで配信されるページへアクセスし、入室ボタンをクリックします。

あっちむいてほい開始ボタンをクリック

参加者のうち1人が開始ボタンをクリックします。Twilio Sync(Documents)を使って、参加者全員に開始を通知します。

あっちむいてほいをする

開始が通知されると、全員の画面に「あっち」「むいて」「ほい」と表示された後、上下左右いずれかの向きに指が指されます。（向きはプログラムでランダムに決められます）向きが表示されると自動で画面のスナップショットが撮影されます。

顔の向きを判定する

スナップショットはbase64形式に変換され、AWS API Gatewayへ投げられます。 AWS内ではLambdaを通して、画像解析サービスであるRekognitionを使って顔の向きを判定します。結果はYaw/Roll/Pitchで返ってくるため、それぞれの値の大きさから上下左右を判定しています。（それぞれの関係は、Azureのページが分かりやすかったです。）

Azureにも同様のサービスがありますが、使ってみた範囲ではAWSの方が精度が高かったです。判定に時間がかるのが難点ですが。