LINEでコミュニケーションが取れるインターホン

インターホンとLINEを連携させてコミュニケーションをとれるものです
インターホンの音声をメッセージとしてLINEに送信できます
LINEからもメッセージを送信できます

動画

システム構成

LIOTシステム構成

大まかな流れ

• Raspberry pi 4 でインターホンが押されたことを検知＆顔認識で訪問者が誰か特定 => LINEに通知
• LINEとRaspberry pi 間で会話を行いコミュニケーションを取る
  • LINE(テキスト) -> ラズパイ(合成音声)
  • ラズパイ(音声) -> LINE(text to speach による音声認識)

サーバーサイド

• 使用言語: nodejs
• フレームワーク: express
• LINE Messaging API用のwebhook

Raspberry pi

• 使用言語: python
• 顔認識
• gTTSを利用した音声->テキスト変換

ストーリー

liot-intercom-iot

概要

このプログラムはIoT×LINEとしてハッカソンに向けて作ったIoT側のプログラムです インターホンとLINEで訪問者と住人がコミュニケーションをとれるようにしたものです

どんなことを解決できるか

家を留守にしていてその時に訪問者がきたらこのプログラムを使えばコミュニケーションをとることができ便利になります

プログラムの内容

インターホンではベルの音を検知します。 検知した時写真を撮影します。 この画像の中の人が登録してある人であれば名前をサーバー側に送信します 顔認識で判別します。 postでLINEとやり取りをするサーバーに検知したこと、機種番号、画像をbase64にしたもの、名前を送信します 次に「住人に伝えたいことをおっしゃってください」とインターホンから音が流れます その後訪問者が伝えたいことをマイクに向かって話すと音声をテキストに変換してサーバーに送信します またLINEからのへんしんがあった場合にはその内容が音声で流れます これでコミュニケーションを取ることができます 60秒間何もないとベルの検知モードに戻ります

メンバー

• 

  ユオレイ @yuorei

• 

  taesu @taesu

関連イベント

• ヒーローズ・リーグ 20222022-09-05 開催

同じニオイがする作品

• 味噌と奥さんとおはし
• 昭和育ちなおっさんたちは黒電話を携帯する夢を実現する...
• KAZOEBAKO
• バッシバシに"バッシング"するぜ！！