開発中

TaVision たびじょんメガネ

『たびじょんメガネ』は、海外旅行中に誰もがあったらいいなと思う、外国語の見る、聞く、話すを助けてくれる眼鏡です。

RaspberryPi Zeroにカメラ、マイク、スピーカー、ボタンが一体となったデバイスが眼鏡の横に付いています。

  • このボタンを一回押すと、音声(外国語)を聞き始め、その後それを日本語に翻訳してくれます。
  • 二回連続で押した後、自分が日本語で話すと、それを指定した言葉に翻訳して発音してくれます。
  • 最後に長押しすると、カメラで写真を撮り、その画像に写っている言葉を日本語に翻訳して読み上げてくれます。

翻訳の設定は、ラズパイ上のPythonプログラムのパラメータを、--speech it-IT (聞取り言語) --trans ja-JP (翻訳先言語)の様に設定しています。(この場合はイタリア語から日本語に翻訳)言葉の聞き取りには、GoogleAPIGoogle Cloud Speechを使い、翻訳にはGoogle Translateを使っています。画像読み取りには、Google Vision APIを使い、読み上げには音声合成のAquesTalkを使っています。


ラズパイZeroの小さい筐体であれば、眼鏡などに付けるウェアラブル・デバイスができ、それを旅に持っていって役立つものにしたいと思いました。この小さな箱に見る、聞く、話す、そして翻訳するという機能を搭載でき、未来のデバイスが作れたのではないかと思います。

スターウォーズのC3POロボットが、宇宙言語など600万の言葉を翻訳すると映画で見ましたが、GoogleAPI100カ国語以上に既に対応しているのを知って驚き、スターウォーズの世界ももうすぐ現実のものになるのではないかと夢想しました。

実際このデバイス自体は、眼鏡だけでなく、イヤフォン型やペンダント型にしてオリンピックでの外国人の方への案内に使ったり、ヘルメットに付けて外国の方と工事現場を共にする際のコミュニケーションにも使えると思っています。

今後の訪日観光客の増加や外国訪問の機会が増える事に伴って、デバイスのブラッシュアップ(精度の向上や、ローカル環境での動作など)を行っていきたいと思っていますので、宜しくお願い致します!


具体的な使い方と動画

それぞれボタンを押した時の、見る、聞く、話すの使い方例です。ビデオ中の画像と合わせてみてみて下さい。

https://youtu.be/1bsfeA1oGS8

[見る]

中国の鉄道駅の文字を読み取っています。結果を日本語で読み上げますが、コンソール中のTrans:のところに、ハオババスの乗客駅~などが読み取られているのが分かります。

タイ語でのレストランのメニューも読み取ります。Tras:のところで、アラビヤティラビヤという魚(?)の焼き物のメニューが人気なのが分かります。

[聞く][話す]

ビデオ中で、イタリア旅行で鉄道の駅での会話の例を示しています。駅でイタリアの人に行き方を聞いたり、看板を読み取ったりするシチュエーションを映しています。

ボタンを1回押して、イタリア語で喋った内容(il treno diretto ~の部分をパソコンから発音させています)を、見事「ローマ行きの列車は~」と日本語に訳して、教えてくれています。

また2回押して、日本語で「ローマの行き方を教えて」と言うと、それをイタリア語「Dimmi come arrivare~」と発音してくれています。

長押しでイタリア語の看板の文字も日本語にして発話してくれています。(動画の45秒付近以降)

https://youtu.be/1bsfeA1oGS8?t=45s

 

[見る]部分の画像読み取りは、指定無しで日本語、中国語、韓国語などを含む50ヶ国語以上を読み取ります。

[聞く]部分は、Google Cloud Speechに指定する事で、インドの方言や各国のスペイン語の種類など100言語以上に対応しています。

[話す]部分もGoogle Translateに指定すれば100ヶ国語以上に翻訳してくれますが、発話は音声ソフトの関係でde-DE Germanit-IT Italianなど6ヶ国語+日本語(AquesTalk)に対応可能です。

 


[タビジョンめがねのシステム構成]

ハードウェア:

  • RaspberryPi Zero W
  • ラズベリーパイ・カメラ
  • Seeed ReSpeaker 2Mic(マイク)
  • 小型スピーカー
  • LiPo電池
  • スイッチ、LEDなど
  • 小型ケース、眼鏡など

 

ソフトウェア:

  • Python
  • Google Vision
  • Google Assistant (Cloud Speech)
  • Google Translate
  • AquesTalk

 

セットアップ方法 - https://github.com/ktrips/smart/

機能選択プログラム - https://github.com/ktrips/smart/blob/master/button_trans.py

 

見るVisionプログラム - https://github.com/ktrips/smart/blob/master/vision_trans.py

 

聞く話すプログラム - https://github.com/ktrips/smart/blob/master/cloudspeech_trans.py

 

タグ
チーム名
Ktrips
チーム
プロトタイパー
Wow
2020を目指して、外国語での見る、聞く、話すを全て解決します!