DARUMAJI

梅雨の時期みなさんどう過ごしていますか？なかなかお出かけできず退屈していませんか？そこで今回ご提案するのがこの「だるまさんがころんだMAJI(本気)」、通称「DARUMAJI」

DARUMAJI は日本を代表する伝承あそび、だるまさんがころんだを最新のAI技術によってアップデートした Japanese Traditional & Cutting Edge Recreation

体の動きを骨格検出で捉え、歩く動作をすることでゲーム内部のアバターが動きます。骨格検出で動きを捉えているため、僅かな動きも見逃しません！ステージ背景にはUnityアセットを使用しました。

残念ながら鬼にみつかってしまったあなたはダルマに変身させられダルマジ様に捕らえられてしまいます。捕らえられたあなたはダルマジ様のシモベと化してダルマ顔にされてしまいます。

でも大丈夫、助けを求めて復活し、再びダルマジ様と対峙しよう！

子供たちも大喜び。あなたもおうちでLet’s DARUMAJI！！

How are you spending your time during the rainy season? Are you bored because you can't go out? That's why I'd like to propose "Daruma-san ga Kororonda MAJI (serious)," or "DARUMAJI.

DARUMAJI is a new version of the traditional Japanese game Daruma-san ga Kororundan, updated with the latest AI technology. Japanese Traditional & Cutting Edge Recreation

The game uses skeletal detection to capture body movements, and the avatar inside the game moves as you walk. The game uses skeletal detection to detect movement, so even the slightest movement is not missed! For the stage background, we used Unity assets.

Unfortunately, the demon finds you, and you are transformed into a Dharma and captured by Lord Dharmaji. When you are captured, you are turned into a Dharma face by Dharmaji.

But don't worry, you can get help, revive, and face Lord Dharmaji again!

Kids will love it. Let's DARUMAJI at home too!

1.Webカメラとマイクから画像と音声をIoTゲートウェイへ入力

2.OpenVinoが動作するIoTゲートウェイでDARUMAJIアプリをモニタへ表示

3.アプリから通信でだるま型ロボットダルマジ様を駆動

サーボモータsg90とNeoPixelLEDをM5AtomLiteで制御し任意の動作モードを実現モニタ内部のみならず視認性とエンタメ性を向上させる演出を可能とします。 Webカメラと一体化する土台は専用設計し3Dプリンタで出力しました。

4.アプリの入力となる骨格座標はWebカメラのRGB画像をIntel OpenVinoのHumanPoseEstimationを使い骨格検出の結果をゲームエンジンであるUnityで、動きの検知の利用および可視化しています

5.音声入力はマイク音を波形として扱い、RT法をベースによる独自検出で、だるまさんが転んだの音声認識を実現しています

6.動物探索モード搭載部屋に点在するおもちゃ（いぬ、わに、らいおん）を探して移動する。実移動を伴うことで難易度アップ！子供の知育にも貢献。カメラで撮影した画像(n=100ずつ)をMobileNetV2で転移学習することにより認識精度を高めた。　（テスト結果では正確性ほぼ100%)

7.BGMはRNN(DeepJazz)で生成ダルマジ様のおすすめセッションを楽しもう！

Input images and sounds from the webcam and microphone to the IoT gateway.

Display the DARUMAJI app on a monitor using an IoT gateway running OpenVino.
Drive Daruma robot Darumaji-sama by communication from the app

Servo motor sg90 and NeoPixel LED are controlled by M5AtomLite to realize any operation mode. Not only inside the monitor, but also to improve visibility and entertainment. The base to be integrated with the webcam is specially designed and output by 3D printer.

The skeletal coordinates used as input for the application are based on RGB images from the webcam, and the results of skeletal detection are used for motion detection and visualization in Unity, the game engine, using Intel OpenVino's HumanPoseEstimation.

The audio input is handled as a waveform of the microphone sound, and the original detection based on the RT method is used. The voice recognition of Daruma-san ga Tumbleda is realized by using the original detection based on the RT method.

Equipped with an animal search mode Search for toys (dogs, crocodiles, and raccoons) scattered around the room and move them around. The difficulty level increases with actual movement! Contributes to children's intellectual education. Recognition accuracy is improved by using MobileNetV2 to transfer-learn images captured by the camera (n=100 each). 　(Test results show that the accuracy is almost 100%)

Background music is generated by RNN (DeepJazz) Let's enjoy the session recommended by Mr. Dharmaj!

◆開発素材

・EL300

https://www.hitachi.co.jp/products/it/ha8000e/products/el300/index.html

・OpenVino

https://protopedia.net/material/586

DARUMAJI