観音は，聴覚障がい者のサポートを目的とした，環境音リアルタイム可視化システムです．
○ はじめに
日本には，聴覚・言語障がいの方が約341,000人います．（厚生労働省 平成28年 生活のしづらさなどに関する調査 https://www.mhlw.go.jp/toukei/list/dl/seikatsu_chousa_c_h28.pdf）
これは，障がい者手帳を持っている人数であり，障がい者手帳交付対象外の人は1000万人以上いるといわれています．
病院内などでは，音声放送や音声案内は多く導入されていますが，電子パネルでの案内など聴覚障がい者に対するバリアフリーはあまり進んでいません．
また，音や声が聞こえないことによって，以下のような様々な場面で困ります．
- 他者とコミュニケーションがとりづらい
- 街中での危機察知が難しい
- 緊急時の音声放送が聞き取りづらい
私たちは，これらの問題点を解決し聴覚障がい者をサポートするシステム「観音」を提案します．
○ 概要
本システムは，周囲の音を認識し，それを文字としてARヘッドセットに表示するシステムです．
本システムの最大の魅力は
- 環境音の可視化
- 発話音の可視化
の2つにあり，周囲の環境音と音声を可視化することで聴覚障がい者をサポートします．
○ システム構成
ARヘッドセット内のスマートフォンと認識処理用サーバーとを通信し，サーバーで得られた環境音の認識結果・発話音の変換結果をスマートフォンのディスプレイに表示することで，音の可視化を実現します．
環境音は，フーリエ変換を行い画像に変換し，畳み込みニューラルネットワークを用いて識別します．
それに加え，見ている映像から物体を検出し，その結果から想定される環境音の識別結果に信頼度をプラスすることで，精度を向上させます．
また，発話音変換には Speech to Text（IBM Watson）を使用します．
現時点で，環境音は以下の3つに分類することが可能です．
- 遮断機音
- 車のクラクション
- 雑音（上記以外）
今後，犬や猫の鳴き声など識別できる音を増やしていきます！
○ 観音がもたらす効果
本システムを利用することで，以下のような効果を得ることができます．
- 環境音を知る楽しみが生まれる！
→ Qualty Of Life の向上 - 手話の通じない相手とコミュニケーションがとれる！
→ 手話を知らない人との会話が可能 - 見えない範囲の危険を察知できる！
→ 安心できる生活 - 警告音を見て早急な判断ができる！
→ 慌てず行動が可能
○ おわりに
本システムは，耳から入る情報を目から取り入れることにより，補聴器などの従来の手段ではサポートできない方を含め，すべての聴覚障がい者をサポートすることができます．
このシステムによって，聴覚障がい者を音のミエル世界へ，安心して暮らせる世界へ導きます！
□ 使用機器
- ARヘッドセット
- ARcore対応Androidスマートフォン
□ 使用フレームワーク
- Chainer
- YoLo v3
Facebookに投稿する
X(Twitter)に投稿する
聴覚障害者へのサポートという非常に社会的に重要な課題に取り組んだことと、Watsonが以前よりアプローチしているXR分野での音声認識活用という領域での作品というところで、IBM賞に選定させて頂きました。