開発中

Mashup Camera - MAカメラ

写真を撮ると、その物を分析して、何が写っているか判別します。たとえば、ミーティングルーム、イベント、パーティーなど。

その結果と、これまでの数多くのMashup Awardsの写真をマッチさせ、どれくらいMashup度が高いのか(写っているものがMashup写真に近いのか)をパーセンテージで判定してくれる不思議なカメラです!

ついでに、MA度合いが低いと、MA風な画像(ビールなど)を追加して、AR化した写真を生成してMA度合いを高めます!


  • MAモデルの作り方

FlickrにアップされたMashupがタグされた10万を超える写真をモデル生成に使っています。MA画像に対して、ごみや関係ないものの写真200枚ほど(RaspberryJunkPIE)を比較対象画像とし、その両者の判別モデルをクラウド上(GCP)のTensorflowにより生成しておきます。

[Mashup写真(Mashup)]

FlickrからMashup風な写真を数百枚選別し、MashupAwardsというタグ付けを行います。

[ラズベリーとパイ、ごみクズ(RaspberryJunkPIE)]

それ以外を判別する為、本物のラズベリーやお菓子のパイの写真を100個、鉄くずなどのジャンクな機械の写真を200個用意し、比較対象にしました。

これらのデータを使い、Tensorflowを使った機械学習トレーニングを行います。この処理はGPUが必要な計算ですので、クラウド(Google Cloud Platform)上で行いました。

そこで出来たモデルをラズパイ上に移植し、撮った写真とモデルとの比較の部分のみラズパイ上で行う事により、少ないリソースでも無理なく判別機をつくれました。


  • MAカメラの使い方

使い方は至って簡単。イベントなどで写真を撮るだけ!そうすると、MashupAwards(MA風)、RaspberryJunkPIE(本物のラズベリー、お菓子のパイ、又はジャンク、くず)のどれに該当するかの確率をしゃべってくれます。また結果をTwitterにもアップします。

実際去年の写真を読み込ませたら、82.5%と出ました!もう少しMA度合いを足すために、きらきらサングラスと手にビールが付いています!

MAのセミ/ファイナルに進んだら、是非会場でMA度合いを測りたいと思います!

こちらは撮って、結果を喋っている動画です。


  • MAカメラのシステム構成

ハードウェア:

  • RaspberryPi 3B
  • USBカメラ
  • スピーカー
  • スイッチ、LEDなど
  • USBバッテリー
  • 紙のお弁当箱などのケースなど

紙製のケースに入ったカメラ本体に、USBカメラ、スピーカー、ボタンなどが付いています。

中には、マイク、カメラがついたラズパイとバッテリーが入っています。

スピーカーは外に出ていて、大音量で結果を教えてくれます。

ソフトウェア:

  • Python
  • Google Vision API
  • Tensorflow
  • AquesTalk

[モデル構築用データ(写真)]

過去のMA写真(Mashup): 過去数百枚の写真

ラズベリーとパイ、ジャンクの写真(RaspberryJunkPIE): 200枚(Flickrから取得)

これらの写真を機械学習させる事によりモデル(それぞれの特徴量)を作る事ができます。モデルの構築自身は、Google Compute Engine上で行っておき、その結果モデルをラズパイ側に移して、エッジコンピューティングを行います。

ラズパイ側では、カメラから撮られた写真からラズパイでのTensorflow機械学習を使って、モデルとの一致度を判定します。モデル判別はラズパイ(エッジ側)のみで行われているので、ネットワーク接続は必要なく、ラズパイの処理速度でも10秒程度で結果が出るように調整されています。

[プログラム、その他]

プログラム、詳細設定方法、説明などはGithub – https://github.com/ktrips/smart/tree/master/camera

チーム名
Ktrips
チーム
プロトタイパー
Wow
色々なイベントに出るたび、MAと比べたらどのくらい盛り上がっているかなと考えてしまうので、MA度合い(Wow度)を数値化する為作りました!