オンラインのアイスブレイクツールMeltice

© CC BY 4+ visibility722
© CC BY 4+
visibility722

オンライン会議で課題となる「話しにくさ」と「話題に対するリアクションのわかりにくさ」を、事前に収集する参加のニュースへの興味を用いて解消する。同時に評価の自動化等によって人事部のタスクを削減する。

動画
開発素材
システム構成
system image
  1. 主催者が、参加者に話してもらいたい話題としてニュースを登録する
  2. 参加者が、提示されたニュースから興味があるニュースをピックアップする
  3. 参加者が、ルーム参加登録を行う
  4. 主催者が、ニュースの話題提示ページを開く
    • 参加者の興味の有無で話題が切り替わる
  5. 主催者が、評価を保存するために話題保存ページを開く
  6. 主催者が、参加者の表情や盛り上がりが可視化されたグラフを見る
ストーリー

工夫した点

  • Flaskを用いて必要な箇所をAPI化したおかげで、通信するときにそのエンドポイントを呼び出すだけで良くなり、開発・保守性が高まりました
  • フロントエンドはVueを用いることで、開発速度を上げることに成功しました
  • また、自然言語処理の部分は、リアルタイムで会話を分析するのに、類似度などの解析がしやすいspacyを用いました
  • さらに、表情認識では、PyTorchで組まれているResidual Masking Networkを用いることで、開発費用、解析時間を抑えることに成功しました。
    • 元々はOpenCVのHaarを用いていましたが、これは笑顔か笑顔でないかという判定しかできず、不便だったため、変更しました
    • また、Azureには表情認識もありますが、利用時間の点から有料となってしまうため断念しました
  • グラフの部分にはChart.jsを用いることで、見やすい、描きやすいを意識したグラフを実現できました
  • Firebaseを用いることで、読み取り、書き込みのしやすいデータベースとの通信を可能にしました

苦労した点

  • Pythonで解析をしたいということからFlaskを導入したため、Vueとのヒゲ構文{{}}の衝突に悩まされました
  • 開発ファイルが吹っ飛んで、半日分が水の泡になってしまいました
    • ターミナルでの開発をメインとしていたので、rmのコマンドを日常的に利用していますが、このrmしたファイルをそのまま書き換えていたため、問題に気づけませんでした
  • MatplotlibとFlaskの相性が悪く、頻繁に落ちました
    • Agg(Anti-Grain Geometry engine)を導入することで解決しました
  • 導入しようとしたライブラリーが古すぎて、独自に書き換えました
    • firebaseを扱うのに、pyrebaseというライブラリーを用いていましたが、開発が5年前に終わっており、独自に書き換える必要がありました
メンバー
  • user
    Nozomi @278mt
    • フルスタックエンジニア
    • 企画/設計/開発
    • プレゼン(資料作成・発表)

関連イベント
  • event ヒーローズ・リーグ 20212021-09-06 開催
関連リンク
user
湯村 翼 @yumu19

これ普通にめちゃくちゃ良い!ぜひサービス化してほしい!
NAISTユビ研👀


同じニオイがする作品
  • event ご近所ペッパー「ペパコミュ」 by koto
  • event KENPARIS(ケンパリス)
  • event にゅうみっくby みゃっくばんど
  • event ソーシャルストリーミングリモコン

Proto lovers ♥
user
user
user
user
user
user
user

イベントまとめ

コンテストまとめ

作品を登録しよう

モノづくりしている人に、つくった作品を見てもらえ、リアクションがもらえるかも?

close

目次


Proto lovers ♥
user
user
user
user
user
user
user