• [前作](https://hacklog.jp/works/3897)よりデバイス・認識技術を改良し新たなチャレンジ.

    ##【はじめに】
    子供のころに誰もが一度はやった"ごっこ遊び",この具現化にハードウェア/センサ/モーション認識技術のMashupでチャレンジ.大人も子供も**なりきって楽しめる**ことを目指しています.
    またチャレンジを通じ,"身体拡張","動きの記録・伝承"の新しいあり方を模索しています.


    ##【前作からの改良点】
    ###ー 着衣型センサの導入(xenoma社 e-skin)ー
    体の動き・姿勢の双方を観測できるようになったことで,加速度センサでは不可能であった"状態"を認識・フィードバック(例:ガードポーズ)することができます.また,センサの装着を全く意識することなく,全力で暴れまわれます.

    ###ー深層学習によるモーション認識ー
    着衣型センサからの情報処理・モーション認識部を,古典的機械学習手法から深層学習へとアップデートしました.格闘ゲームのような事例においても違和感がないほど,高速なモーション認識を可能にしています.

    ##【応用】
    ###"動き"や"姿勢"の学習・習得
    「正しい動きをしたときのみ判定される」アプリとすることで,一人でも動きや姿勢をリアルタイムに把握・修正できます.

    * スポーツ(例:バットのスイング)
    * ダンス(例:振付確認)
    * ヨガ(例:決めポーズの評価)

    などの分野で利用可能です.

    この分野では「鏡をみる」「ビデオをとる」「指導者に見てもらう」といった非リアルタイム or 曖昧な観測法しかできませんでしたが,これらを変えられる可能性があります.

    ##【課題】
    * 個体差の吸収および汎化性能の向上

    ##【夢】
    * ゲーム会社とコラボしモーション格闘ゲーム大会を開催する
    e-skin : 体(上肢)のセンシング
    tensorflow : センサ情報をもとにモーションを認識
    mbed(LPC824) : ゲーム機との接続

    なりきり 2.0 X

  • 超能力者やヒーローになりきって

    • 念じるだけで光をともす
    • 触れることなくものを動かす
    • 手から稲妻で敵をノックアウト


    子供の頃に誰もが抱いたそんな夢の具現化に,WebAPI/ハードウェア/センサ/モーション認識技術のMashupでチャレンジした作品です.なにより,大人も子供も "その気になって利用できる/楽しめること" を目指しました.

    作品概要

    ウェアラブルセンサーを中心にIoT技術を組み合わせて製作した体験型作品であり,

    • 能力者になりきり,身振り/手振りでライトコントロール
    • ゲームの主人公になりきり,相手と闘う.

    の2つを体験できます.小型・軽量のセンサ,およびモーション認識技術の利用により,ユーザーに"制御している"感を極力与えないことで,これまでにない快感・一体感を創出します.また光学測定機器等の設置も必要ないため,場所/環境を選びません.

    これまでの展示

    想定する実利用シーン

    • 体験型アトラクション,アミューズメント
    • VR向けコントローラー
    • イベント/コンサートにおける観客一体型アート
    • 特殊作業現場(医療/食品)における非接触I/F

    なりきり 2.0