オンラインのアイスブレイクツールMeltice

オンライン会議で課題となる「話しにくさ」と「話題に対するリアクションのわかりにくさ」を、事前に収集する参加のニュースへの興味を用いて解消する。同時に評価の自動化等によって人事部のタスクを削減する。

動画

開発素材

ツール

Firebase Realtime Database

システム構成

1. 主催者が、参加者に話してもらいたい話題としてニュースを登録する
2. 参加者が、提示されたニュースから興味があるニュースをピックアップする
3. 参加者が、ルーム参加登録を行う
4. 主催者が、ニュースの話題提示ページを開く
   • 参加者の興味の有無で話題が切り替わる
5. 主催者が、評価を保存するために話題保存ページを開く
6. 主催者が、参加者の表情や盛り上がりが可視化されたグラフを見る

ストーリー

工夫した点

• Flaskを用いて必要な箇所をAPI化したおかげで、通信するときにそのエンドポイントを呼び出すだけで良くなり、開発・保守性が高まりました
• フロントエンドはVueを用いることで、開発速度を上げることに成功しました
• また、自然言語処理の部分は、リアルタイムで会話を分析するのに、類似度などの解析がしやすいspacyを用いました
• さらに、表情認識では、PyTorchで組まれているResidual Masking Networkを用いることで、開発費用、解析時間を抑えることに成功しました。
  • 元々はOpenCVのHaarを用いていましたが、これは笑顔か笑顔でないかという判定しかできず、不便だったため、変更しました
  • また、Azureには表情認識もありますが、利用時間の点から有料となってしまうため断念しました
• グラフの部分にはChart.jsを用いることで、見やすい、描きやすいを意識したグラフを実現できました
• Firebaseを用いることで、読み取り、書き込みのしやすいデータベースとの通信を可能にしました

苦労した点

• Pythonで解析をしたいということからFlaskを導入したため、Vueとのヒゲ構文{{}}の衝突に悩まされました
• 開発ファイルが吹っ飛んで、半日分が水の泡になってしまいました
  • ターミナルでの開発をメインとしていたので、rmのコマンドを日常的に利用していますが、このrmしたファイルをそのまま書き換えていたため、問題に気づけませんでした
• MatplotlibとFlaskの相性が悪く、頻繁に落ちました
  • Agg(Anti-Grain Geometry engine)を導入することで解決しました
• 導入しようとしたライブラリーが古すぎて、独自に書き換えました
  • firebaseを扱うのに、pyrebaseというライブラリーを用いていましたが、開発が5年前に終わっており、独自に書き換える必要がありました

メンバー

• 

  Nozomi @278mt

  • フルスタックエンジニア
  • 企画/設計/開発
  • プレゼン（資料作成・発表）

関連イベント

• ヒーローズ・リーグ 20212021-09-06 開催

同じニオイがする作品

• Steky Memory
• KENPARIS（ケンパリス）
• ソーシャルストリーミングリモコン
• にゅうみっくby みゃっくばんど