歩行リハビリエンタメシステム Melody Shoes

歩けない息子の歩行練習にワクワク感をプラス!
足を踏み込む度に「音楽」「光」 「移動ロボ」「アプリゲーム」等のその子が大好きなコンテンツを連動、
歩行リハビリが楽しくなり、モチベを高めます！

• CIVICTECH賞 by 一般社団法人シビックテックジャパンヒーローズ・リーグ 2022
• 研究アイデア賞M5Stack Japan Creativity Contest 2023

動画

開発素材

デバイス

ESP32

M5StickC Plus

M5Stamp

システム構成

■概要

「歩けない子供の日々のツラい歩行練習(リハビリ)を楽しくしてあげたい！」

"I want to make the walking practice (rehabilitation) enjoyable for my son who can't walk!"

を目指したプロトタイプ。

歩行リハビリで使用する靴&歩行器への後付け搭載を前提に、 足の動きを検出し、足を左右交互に進める度に、 「 大好きな音楽を再生」 「 イルミネーションの光演出」 「 足への振動フィードバック 」 「 ロボや市販ゲームアプリと遊べる 」 の楽しいフィードバックを得られる靴を開発しました。

I developed shoes that detect foot movement and, every time the wearer takes a step alternating between the left and right foot, they receive enjoyable feedback in the form of: "Playing their favorite music." "Illumination light effects." "Vibrational feedback to the foot." ”Playable with robot or commercially available game apps"

[本体部]

ESP32で全体制御、M5StickC Plusを液晶画面として使用、簡単なモード設定切替を可能にします。 本体部は、3.5mmステレオジャックで左右の感圧センサー情報を接続。 また、無線モードを有していて、無線モジュールからWiFi(Local AP)として左右の足感圧情報を取得。

この情報を元に、一定以上の足の動くを検知した場合、 「音が鳴る」「光る」そして「足への振動フィードバック」を返します。

左右交互に足踏みする事で音楽が進んでいく一方、 間違って片足を連続して足踏みした場合は失敗音が鳴る等、 **『両足を交互に出して進んでいく」**が自然に身に付く様な配慮をしています。

知的障害のある子供も気づきやすい様に、 ・LEDバーにして前面をすべて光らせる ・大好きなピアノの音が聞こえる様に などのその子の好みに合わせた音源再生が可能です。

[足検出部]

感圧センサーは足の裏に設置できる様にコンパクト化。 また、踏み込んだ時に足の裏に刺激を伝えるため、感圧センサー上に振動モータを設置しているので、センサー一が直感的に分かりやすくなっています。。

[無線モジュール部]

実際に介助付歩行練習で長距離を移動する場合、感圧センサーの配線でひっかかる事を懸念して、 別途 足に装着可能な無線モジュールを製作しました。 無線モジュールからは、感圧値と足の振動情報を検知して、本体部へWiFiで接続可能。 子供の足に装着する際の安全性を配慮して、リポバッテリは使わず、単四電池2本で駆動しています。

■こだわりポイント

小児リハビリ現場で使える超簡単な操作感 (子供を待たせない、プログラム書換えなしで簡単に現場で調整できる）

Ultra-simple operation suitable for pediatric rehabilitation settings (doesn't keep the child waiting and can be easily adjusted on-site without reprogramming).

理学療法士(リハ)の先生と連携して息子のリハビリ現場へ導入/活用 「つかう↔つくる」を繰り返し、実現場で使える機能を盛り込みました。

現場での要望を踏まえて ・踏込み検知閾値の調整機能 (ボリューム抵抗追加) ・センサー取付位置の調整ができる様に、感圧センサーをマジックテープベルトで足に固定 ・ PC経由で音源ファイルの変更が可(プログラム書き換え不要)

実際に3か月使用頂き、現場のリハ先生(非エンジニア)が忙しいリハ現場でも安心して使える靴システムとして提供できる様になりました。

■センシングモード

使用する子供の症例や、実施する歩行リハビリの内容に応じて、4種類の足検出の方法を用意

①感圧モード (有線)

立位状態での足踏み練習を想定しています。 感圧センサーを足の裏に設置して踏む力を検出 (本体とは有線で接続)

②感圧モード (無線)

介助歩行による移動練習時を想定しています。 感圧センサーを足の裏に設置して踏む力を検出（無線) 無線モジュールはマジックテープで足に直接取付できる様にしています。

③本体振動モード

歩行器を使った移動練習時、足にセンサーを取り付けられるのが苦手な子供向けの方式。 歩行移動時に発生する本体部の振動を検出します。

④くつ(足元)振動モード

足裏にセンサーを取り付けられるのが苦手な子供向け 足に取り付けた無線モジュールの振動を検出します。

■ 拡張(Plus)機能～他機器連携～ ※2023/9追加

https://youtu.be/adqktgWeU80

Melody Shoes本体デバイスでは、「光」「音」という子供が大好きな代表的な要素でフィードバックしていますが、子供の好みはそれぞれ異なるので、より1人1人の好奇心をくすぐる仕掛けの選択肢を広げるため、「歩く」に連動したMelody Shoes追加機能を開発しました。

本体部はBluetoothデバイス(キーボードデバイス)として認識可能としているため、 他機器との連携が可能です。 （例えば、左足を踏み込めば「SPACEキー」、右足を踏み込めば「TABキー」等。 Melody Shoesの本体部/足検出部で検出した指定アクションに応じて、 キーボード入力を行うデバイスになります）

Plus機能① : おもちゃ連動

おもちゃを改造して、無線制御デバイスを接続する事で、「歩く」と「おもちゃ動作」を連動可能に。

例えば、移動ロボを使えば、「歩く」たびに「ロボ」が一緒に動いてくれる体験に繋がります。

移動ロボ側は、M5stump等のESP32系マイコンモジュールを搭載して、Bluetoothホスト機能を実装。 本Melody Shoesとペアリングして、特定のキーボード入力があった場合(例えば、左足/右足を踏み込むetc) ロボが前進する様なプログラム構成をとる事で、連携を実現しています。

Plus機能② : iPadゲームアプリ連携

Melody ShoesはBluetoothキーボードとして認識できるため、iPadに対してスイッチコントロール機器として登録する事ができます。 つまり、右足を踏む or 左足を踏む動作に応じて、iPad上のアクセシビリティにあるスイッチコントロールレシピを動かす事ができます。これを使えば、任意のiPadアプリゲームを歩行リハビリに連動させる事ができます！！

例えば、左右交互に足を踏む度に、ひよこを投げたり、前方にミサイルを発射したり等、市販アプリを組み合わせて遊べます！

iPadアプリは世の中にはたくさんあるので、その子がハマってしまう様な楽しいアプリが見つかる可能性も高い！ iPadを歩行器に取り付けて Melody Shoesと連動させれば、簡単に歩行器アプリが誕生します！

Plus機能③ : PCアプリ連動

Melody ShoesはBluetoothキーボードとしてPCと接続する事ができるため、 キーの割り当て方次第では、PCで遊ぶ事ができるゲームやスイッチ訓練ソフトと連動させる事ができます。

例えば、視線入力訓練ソフトEyeMoT Projectで開発されているスイッチ対応ソフト

https://www.poran.net/ito/eyemot/eyemot-3d

3DX Game_00「運動会」や3DX Game_03「玉入れ」とは操作相性が良くて、歩行リハビリはもちろん、手や足を振って動かす動作と連動できます。

MAX4個程度のボタン操作でできるPCゲームであれば簡単に連動できますので、例えば UnityやScartchを使って自作したゲームとも簡単に連動できます。 まさに、プログラミングを習っているクラスの友達にScratch等でゲームを作ってもらい、 それを使って歩行リハビリに活用できる様な、使い方もできるかも！？

ストーリー

■目的もなく、ただ「歩く」行為は楽しくない

Walking without a purpose isn't fun.

生後まもなく脳性まひと診断された息子(ともかつ)
6歳時点でも座位・立位が困難です。

生まれてから、自分の力で歩くという経験を有したことのない息子は、 「歩ける様になること」に特にモチベーションを見出していません。

電動移動機器などを使って「移動する経験」そのものは代替できますが、 その一方で、「歩く行為を通しての足から得られる刺激」「視界が上がる事により見える世界が広がる」など、心の成長を重ねていく上で大事だと感じていました。 （電動移動と、歩行器サポートによる歩行、そのどちらの選択肢もある事が重要と思っています）

その観点で、息子には 『歩行器など様々なサポートを受けながらも、自分の意志で前に進むという経験をして欲しい』

Even with various supports like walkers, I want them to experience moving forward by their own will

と考えています。

しかし、息子は、歩いた事がないからこそ、歩ける事にメリット(楽しさ)を感じておらず、歩行リハビリはただ苦痛な時間でしかない。。

例えば、ご高齢の方やケガで足を負傷した方の場合、「昔の様に歩ける様になりたい」というのが大きなモチベーションとして頑張る事になりますが、息子はその昔の経験がないので歩行に対して、モチベーションを上げられないのです。

子供にとって、好奇心こそ成長の起爆剤

For children, curiosity is the catalyst for growth.

やりたくなければ、やりたくなる様になるエンタメ仕組みつけていこう！

この発想で、歩行リハビリを楽しくなるための仕掛けを考える様になりました。

その結果、歩くという行為に対して、その子の大好きなフィードバックが返ってくるなら、そのフィードバックを楽しみに自ら足を進めるのでは、と考えて、Melody Shoes の開発をスタートしました。

■息子の好みを探すための試行錯誤

Trial and error to find my son's preferences

・2018年1月 : 初号機製作

https://youtu.be/bMvzg95-lH0

初号機は、足踏みすると「音が鳴る」のみの仕様。 いざ装着してもらうが、、、今いち反応なし。

足に線が絡まる、音のなる場所が分からない。 等の課題にぶつかる

・2018年5月 : 2号機製作

歩行困難な息子。歩行リハビリが少しでも楽しく出来ないかな、という事で、私と小一の娘の二人でNintendo Laboで『足を動かすと、光&音&振動を返すメロディ靴』を作ってみた。機能は娘考案。
息子の反応も上々で良い感じ！ もう少しブラッシュアップだ！#肢体不自由児#リハビリ支援#NintendoLabo pic.twitter.com/CB7iTdXxP9

— おぎモトキ @ 父親エンジニア / OGIMOテック開発室 (@ogimotoki) June 13, 2018

Nintendo Labのカスタム機能を使って、娘と一緒に息子用のリハビリ靴を試作

この反応が非常に良かった！ ここで「光」と「振動」が重要である事に気付く！

ただし、Nintendo Labo だとこれ以上のカスタマイズが困難のため、これをヒントに製作を進めた

・2018年8月 : 3号機製作

https://twitter.com/ogimotoki/status/1018178769566068736

足を踏み込むと「好きな音」「振動」「光」がでる靴 (無線) 靴の光を見るため下を向いてしまう、スピーカ音が小さい等の課題により、反応はまだイマイチ

・2018年9月：4号機製作

息子の歩行リハビリのモチベーションを上げるため自作メロディ靴ver.4 作成。

M5Stackを使い、足踏みすると画面の表情が変わり、息子の好きなピタゴラスイッチ音が鳴る仕組みにしてみた！

前に置けば、息子は手を伸ばそうと足を踏み出す、といいな(^-^)#家族のためのモノづくり#自作リハビリ器具 pic.twitter.com/cHAZJ4gLcc

— おぎモトキ @ 父親エンジニア / OGIMOテック開発室 (@ogimotoki) December 9, 2018

足を踏み込むと「好きな音」「振動」「光」＋前方で「面白い映像が出る」靴 (無線) 座位をしながらの足歩行練習には興味を示す様になった。 しかし、M5Stackだと画面が小さいため、歩行器に載せると見向きもせず

もう一押しだ！

・2018年12月：5号機製作

https://twitter.com/ogimotoki/status/1091548788462764032

足を踏み込むと「好きな音」「振動」「光」＋前方でLEDが光る靴 (無線)! これについに息子が食いついた！ やはり、前面がすべて光るLEDバーに興味が向かった！

■リハ現場で「使い続けてもらう」

Ensuring continued use in the rehabilitation scene.

5号機をリハビリ現場に長期間持ち込んで、息子の歩行リハビリに毎回使ってもらう取り組みを3か月継続させてました。

当初は、歩行器にのるだけで嫌がって離れようとする息子も、LEDバーを見つけて、歩くたびにイルミネーションが変わる事に気づいてからは素直に歩行リハビリに取り組む様になりました。

そして、繰り返すこと3か月、不器用ながらも左右交互に足を出せ、少しずつ前に進める様に！！

息子の歩行リハビリを楽しくするために自作した「光る&音の鳴る電子靴」

さっそく歩行器練習で、1週間使ってみた！

その結果、、、
不器用ながらも、LEDを見ながら左右交互に足を出してるー！！

わずか数歩だけど、作り手の願いが現実になった瞬間

父ちゃん、嬉しいよ！#家族のためのモノづくり pic.twitter.com/JsdlZRcYEd

— おぎモトキ @ 父親エンジニア / OGIMOテック開発室 (@ogimotoki) February 9, 2019

■『息子のため』から『他の子供達のため』へ

From 'for my son' to 'for other children'.

息子は、2020年以降は本装置を使わなくなっても歩行リハビリに取り組む事ができる様になったため、 本Melody Shoes は我が家では、一定の役割を終えました。

その後、本機器を使った歩行リハビリの取り組みに関してSNSや講演活動で外部発信してきたところ、特にリハ現場の方から、「本装置を使ってみたい」　というお声を定期的に頂く様になりました。

歩けない息子の歩行リハビリを楽しくするため作ったメロディ靴。
「うちの子にも是非欲しい！」
とありがたい声を頂き、今回カスタム製作する事に

ピカチュウ大好きなお子さんとの事で、一歩踏み込む毎にピカチュウの声&光&振動で全力で応援してくれる楽しい靴にした

喜んで使って貰えると嬉しいな♪ pic.twitter.com/VX5SgaCl7I

— おぎモトキ @ 父親エンジニア / OGIMOテック開発室 (@ogimotoki) February 14, 2020

何台かは簡易仕様としてリピート製作を実施してきましたが、 今回は「支援学校で是非活用したい」というお声がけを頂き、 改めてニーズの強さと今後の提供活動を加速するため、 2022年11月に「リニューアル版」として無線モジュール含めたMelody Shoesを新規製作しました。

また、様々な子供達に使って貰える様に提供活動を進めてフィードバックを頂いていく中で、 子供達に突き刺さるコンテンツは10人いれば10人とも異なり、 その１人１人の「大好きな事」に連動できる事が何よりも重要である事に実感したため、 2023/9迄で改良を重ねて、新しくPlus機能(おもちゃ連動、ゲーム/アプリ連動)を開発・実装しました。

What's most important is the ability to synchronize with each individual's 'favorite things'

息子のために作った技術が、 息子同様の症例の子供達/ご家族/サポータの方々の役に立つものとして繋がっていければ嬉しいです！

I would be delighted if the technology I created for my son could benefit other children with similar conditions, their families, and their supporters!

※本装置について、興味を持って頂いた方、「使ってみたい」と思われた方は、製作依頼相談可能ですので、別途 TwitterでDM頂ければありがたいです。

メンバー

• 

  おぎ-モトキ@父親エンジニア @ogimotoki

関連イベント

• ヒーローズ・リーグ 20222022-09-05 開催
• 「Maker Faire Kyoto 2023」の出展作品まとめ（一部｜非公式だよ）2023-04-29 開催
• M5Stack Japan Creativity Contest 20232023-07-15 開催
• 「Maker Faire Tokyo 2023」の出展作品まとめ（一部だよ｜非公式だよ）2023-10-14 開催
• 「Maker Faire Kyoto 2024」の出展作品まとめ（一部｜非公式だよ）2024-04-27 開催

同じニオイがする作品

• デジタルなルービックキューブ
• STM Deck
• TV Side Keyboard SparrowTV
• DIY可能な地すべり警報システム