ヨミトリ君 3号機（指筆談のデバイス化）

完成 2023.08.31 公開（2024.06.11 更新） © CC BY 4+ visibility3405

完成 © CC BY 4+

2023.08.31 公開（2024.06.11 更新） visibility3405

体が動かせず喋ることができない障害者の方でも意識があり介助者の指筆談という技法で意思疎通を行う方がいる
指筆談は第三者が間に入る支援のため、客観性の担保が出来るようデバイスで指筆談が行えるようにした

sell Arduino IDE, civictech, M5Stack, C#, 障がい者, 指筆談, 閉じ込め症候群, 指談, 意思疎通, People with disabilities, Manual Assistive Writing Yubidan, Locked-in Syndrome, Communication

動画

開発素材: デバイス

M5Stack

重さユニット

ツール

Arduino IDE

C#

システム構成: ・対象者の操作

　対象者はデバイスの接地パネルに手の一部を接触させ指筆談時と同様の書字動作を行う。
　※ 指筆談の書字動作はタッチパネルでの操作のように接地点を動かして書字するのではなく
　　接地点は動かさず書字にあわせて書字方向に力を込める動作となる。
　　そのため、接地点は動かない。

・How to operate

　The operator with paralysis writes the same way as when he writes with manual assistance sticking
　a part of his hand to the panel of the device. On assisted handwriting Yubidan, the operator paralysis,
　does not move his finger as in normal handwriting, but he puts pressure on the direction he wants
　to move his finger, where no position change of the finger is recognized.

・動作概要

　書字動作時の圧力変化は接地パネルの軸になっている圧力伝達棒を通じて荷重センサに伝わる。
　2個の荷重センサは角度を90度変えて取り付けてあるので、
　上下の圧変化を荷重センサAが、左右の圧変化を荷重センサBがメインとなり圧力を計測する。
　それぞれのセンサで計測した圧力の変化量はM5Stackで中継されPCで収集し演算する。
　PCソフトウエアは2個のセンサの値を同時に演算しているので、
　本デバイスは上下左右のみではなく全方向の入力判定が可能。
　ソフトウエアはどの方向に圧力変化が発生したかを画面に視覚的に表示し、
　どのような書字動作をしたかを判断する。
　※ 本デバイスでは完全な書字認識は出来ないが上下左右の直線とマルの書字判定が可能

・The Operation

　The change of the pressure on writing by the one with paralysis is transmitted to the load sensor
　via a pressure transmission bar connected to the panel. Two load sensors are installed in the
　position with the 90-degree gap. Load sensor A measures vertical pressure change and load
　sensor B horizontal pressure change.
　The change amount of the pressure captured by each sensor is repeated by M5Stack for PC calculation.
　As the PC software calculate the output of both of the sensors at the same time, the device can
　judge the pressure input from all direction, not vertically and horizontally only.
　The software visualizes in which direction the pressure moved on the display to show the output
　of writing by the operator. The device has not achieved the perfect recognition of writing,
　though enables recognition of the vertical and horizontal straight line and that of a circle shape.

ストーリー: ヨミトリ君 3号機（指筆談のデバイス化）

Development of Yomitol-Kun the assistive device Ver.3
Mechanization of assistive handwriting method Yubidan

体が動かせず喋ることができない障害者の方でも意識があり介助者の指筆談という技法で
意思疎通を行う方がいます。指筆談は第三者が間に入る支援のため、客観性の担保ができるようデバイスで
指筆談が行えるようにしました。

Some people with severe physical disabilities who cannot communicate verbally do communicate
with an assisted handwriting method called Yubidan. The method Yubidan is an amazing assistance
for those with impairment of movement. But as it is manual assistance, it needs objective validity.
That is why I developed a device to make Yubidan mechanically possible.

指筆談の可視化への思い
　指筆談は重度の障害や病気で体を動かすことが出来ず、声も出せない方（「閉じ込め症候群」とも言う）
　の指先の僅かな動きを介助者が自身の手の感覚で読み取る意思疎通の方法です。
　全身麻痺の方が指等で目視できないレベルの小さな動きで「かな」を書くと、
　指筆談介助者が伝わってくる「かな」の一画一画の書字の動きを自分の手などで感じ取り、
　どの文字が書かれたのかを判断し、当事者の方の言葉としてご家族等に伝えます。

　指筆談の介助者は対象者の目視できないレベルの動きを
　自身の手のひら等で読み取るため、指筆談の読み取りには訓練が必要です。
　誰でもすぐに取得できるという技能ではありません。ご家族の方でも指筆談をされる方は少ないです。
　また指筆談介助者という第三者を挟んだコミュニケーションとなるため
　介助者が読み取った言葉をご家族の方に伝えても、
　ご家族の方が「本当に本人の言葉なのか？」と疑問に思われることも多いと聞きました。

　当事者は話したいのに話せない、家族は聞きたいのに読み取れない、第三者を挟む会話は信用できない。
　そうなると当事者の方は意思疎通の手段が絶たれてしまうことになります。
　そういった話を伺う機会があり、指筆談しか意思疎通手段が無い状態になった方との
　コミュニケーションを第三者を挟まず客観的に行えるようにする必要があると考え、
　指筆談のデバイス化を目指しました。

The hope of mechanization of the assistive handwriting Yubidan
　Yubidan is an assistive communication method in which the communicator captures manually
　the invisible fine finger movement of one with physical impairment who has difficulties
　in verbal communication caused by severe injury and disease. Those with these difficulties
　can be called in the locked-in state.
　Yubidan communicators support communication between those in a locked-in state and their
　families by telling output of assisted handwriting.

　Yubidan requires training to master the skill. It is not easy to learn how to recognize the
　output of handwriting by the one with paralysis, which is invisible. There are a few among the
　families of those in locked-in states who use Yubidan for communication.
　It is also said that the output of Yubidan cannot be easily trusted as the method is assistive
　by the communicator.
　So those in locked-in states and their families are having difficulties in communication.
　However, the reliability of assistive handwriting is not said enough. The way of communication
　is cut off.

　Knowing of their hardships, I tried developing a device for mechanizing the manual assistive writing
　Yubidan. With the device I developed, those with paralysis who cannot transmit their words can
　communicate with their families and others as they do by Yubidan in an objective way.

ヨミトリ君3号機での意思疎通
　本バージョンのデバイスでは上下左右の移動とマル程度は識別ができるので、
　右異動で「はい」、左移動で「いいえ」など意思疎通のルールを決めれば
　第三者を挟まない当事者自身の言葉として意思疎通ができるようになりました。
　次回バージョンでは書字した「かな」そのものを認識し意思疎通できるようにしていきたいです。

Achievement of Yomitol-Kun the assistive device Ver.3
　The device can recognize the pressure movement in vertical and horizontal directions and that
　of the shape circle so far, which is quite enough for basic communication with the rule between
　the one in a locked-in state and his family, for example, the pressure moves to the right means
　Yes and that to the left No. I want to improve the mechanics that can recognize the output of the
　letters Kana as their shape to assist communication.

最後に
　デバイス開発に向けた指筆談の動作理解のため、私の指筆談の練習をして頂いた対象者の方、
　開発や改良のため実証試験に協力して頂いた対象者の方、
　指筆談というコミュニケーション支援の方法を教えてくれた指筆談介助者のTさん、
　技術検証の場を与えていただいた、対象者のご家族の方、
　すべての皆さんのおかげで開発/改良を進めることが出来ています。
　一緒に取り組みできていることに感謝の思いで一杯です。

Special Thanks
　I want to express my special thanks to those in locked-in states who accompanied my practice
　of Yubidan to understand how it works, and the device tests. And to TK who taught me Yubidan,
　and to the families of those in locked-in states. Thank you all for your support for the development
　and improvement of Yomitol-Kun. Let’s go on with working together!