開発中

[マジックミニッツとは]

会議中に話者が喋った事をテキストにして、自動で議事録を作ってくれるデバイスです。

6つのマイクが付いたラズパイ用ReSpeakerを使って、最大6方向からの位置を特定し、それぞれの座った人の場所毎の会話を、議事録として残す事ができます。記録した会話はリアルタイムで、OLEDミニディプレイに表示し、目で確認する事もできます。

会議中の話を議事録風のフォーマットにして、最後にメールで送付します。

Google Transを使う事により、日本語での会話を英語など外国語に翻訳したミニッツにして送付する事も可能です。

MagicMinutes動画

https://www.youtube.com/playlist?list=PLoLx_4WjLoddWX6bn02ehKVL2WZeoJdDg


いつもミーティングで、議事録をとるのを面倒くさく感じていたので、それをラズパイを使って自動化できるのではないかと考え、試作してみました。ただ、テキストが並んでいるだけだとレコーダーで録音したものと同じで、後で読み返す可能性が低いので、DoA(発話方向)を取得する技術を活かして、その位置に座った人の発言かを付加しました。

また、最近は上司が外人になったりして、英語に翻訳したミニッツ作りで残業する事もあり、それを一編に行う翻訳機能も追加しました。きっと、無駄な労働時間短縮、皆さんの働き方改革にも寄与できるものと思っています!宜しくお願いします!


[マジックミニッツの使い方]

日本語で話して、日本語の議事録を作る場合は、送りたいメールアドレスを指定して、起動します。

$ python3 magicminutes.py --mail xxx@mail.com

日本語に追加して、英語に同時通訳、日英の議事録を作りたい場合は、--trans en-USなどと翻訳言語をセットします。

$ python3 magicminutes.py --trans en-US --mail xxx@mail.com

まず、各場所に座った人が「マジック!」と話してみて下さい。その人が話した方向のLEDが緑に光るはずです。

話者の位置が特定出来たら、ボタンを押して、会議の会話を始めます。会議中の会話が始まると、区切り毎に各言語でリピートしてくれます。

最後に「終了です」などのバイバイワードを話すと、会話を止め、リングが光り出し、取得した発話履歴から議事録を作り出します。

写真のように、話した内容を日本語の議事録にまとめてくれます。どの席の位置の人が喋ったか(前方、後方、右側など)も分かるので、より内容を理解するのに役立ちます。

英語での議事録は、リアルタイムで日本語から英語の議事録を話者の位置(Front, Backなど)も含め作成してくれています。

最後にメールが送られた旨が伝えられると、議事録完了です。メールを確認してみます。写真を読み込ませれば添付ファイルも付ける事ができます。

実際に動いているMagicMinutes動画はこちら

https://www.youtube.com/watch?v=lS0PR6pSRrk&list=PLoLx_4WjLoddWX6bn02ehKVL2WZeoJdDg


[マジックミニッツのシステム構成]

ハードウェア:

  • RaspberryPi B3
  • Seeed ReSpeaker 6Mic
  • スピーカー
  • DesignSpark Pmod Hat
  • Digilent PmodOLEDrgb
  • モバイルバッテリー
  • スイッチ、ケーブル、ケースなど

ソフトウェア:

  • Python
  • Google CloudSpeech
  • AquestTalk
  • Google Translate

まずReSpeakerの発話方向(DoA/Direction of Arrival)を検知させ、その方向毎に[前方][後方][右側]などの位置情報を会話に付けます。それに合わせて、発話毎(20秒程度)にCloudSpeechで各言語をテキスト化しています。

--trans en-USなどのオプションを付けると、Google Transに会話を投げ、リアルタイムに翻訳しています。

リピートさせるかどうかのオプションを付けると、その場で聞き取った事をオウム返しに放してくれます。(日本語はAquesTalk、その他はGoogle Voiceで発話)

合わせてテキストをOLEDに表示し、目でも確認できるようにしています。

特徴的な言葉[会議を始めます][問題があります][進んでいます][終わりです]などを検知すると、それぞれの意味毎にまとめる事もできます。(終わりです、などの言葉で会議聞取り終了。)

最後に、各時点でテキスト化された言葉を議事録風にして、メールを使って—mailで指定したアドレスに送信します。

[プログラム、その他]

プログラム、詳細設定方法、説明などはGithub – https://github.com/ktrips/magicminutes

 

タグ
チーム名
Ktrips
チーム
プロトタイパー
Wow
きっと、昨今の働き方改革に寄与すると思います!宜しくお願いします!