スマートグラスでドローンを簡単に操作しちゃおうプロジェクト

スマートグラスのMagic Leapを使ってドローンを簡単に操作するシステムの開発にチャレンジしました！
12/1 動画とサムネを更新しました。

動画

開発素材

ツール

Unity

ガジェット

MagicLeap

tello

デバイス

Raspberry Pi

API

opencv

システム構成

スマートグラスでドローンを簡単に操作しちゃおうプロジェクトの解説

Tello版(プログラミングで制御可能な小型ドローンのTelloを使った開発)

• Unityで開発したMagic Leapのアプリからユーザーが移動先として指定した座標をWebRTCで、一旦Macに送ります。
• Macでは、Magic Leapから受け取ったバーチャルな空間の座標をTelloを操作するアプリが利用しやすい形式に変換して送信します。
• Tello操作アプリでは、ウェブカメラを利用してTelloを撮影し、Telloの上部に乗っている緑の箱をマーカーとして、Telloが現実空間のどこにいるかを認識します。
• Magic Leapから送られた指定座標とTelloの現在位置の差分を計算して、Telloにその分移動するコマンドを送ることでTelloを誘導する仕組みになっています。

自作ドローン版(実用を想定した自作ドローンバージョンの開発)

• 座標指定の方法はTello版と同様にUnityで開発したMagic Leapのアプリから指定座標を行います。
• Magic LeapからWebRTCでMacに座標を送信し、GPS座標に変換します。
• 自作ドローンにはドローンの制御を担うRspberry Piが搭載されており、そこにPython/Flaskを使ったWebAPIが実装されています。WebAPIによって外部(今回はMac)から操作可能になっており、GPSを指定すると、その座標に移動するようになっています。
• Mac上でMagic Leapから受け取った座標（現実空間にマッピングされたバーチャルな空間の座標）をGPSに変換し、送信することで、ユーザが指定した場所にドローンを誘導しています。

ストーリー

数年前に、10万円くらいするドローンを飛ばしていたら、操作をミスして壁に激突させ、壊してしまいました。 ドローン初心者がそんな悲しい思いをしないよう、次世代のドローン操作ユーザインターフェイスとして、本システムは開発されました。

その他のAR/MR作品

ユニティちゃん！ARパークゴルフ

Protopedia: https://protopedia.net/prototype/4700

ユニティちゃん！AR ドライブシュート(UNITY-CHAN! AR DRIVE SHOOT)

Protopedia: https://protopedia.net/prototype/3755

牧場ビリヤード！(MetaQuest3,Pro,2対応MR/VRアプリ)

Protopedia: https://protopedia.net/prototype/4838

AR SDGs どうぶつクイズ+ARどうぶつまみれアプリ

Protopedia: https://protopedia.net/prototype/3907

ユニティちゃんARデビルハンターズ！- 体感型 超爽快 斬撃アクションバトル

Protopedia: https://protopedia.net/prototype/3584

体感型AR/MRゲーム！ユニティちゃん Magic Leap ホッケー！

Protopedia: https://protopedia.net/prototype/1952

ユニティちゃん LiDAR Action AR

Protopedia: https://protopedia.net/prototype/2009

Apple Vision Proアプリ ユニティちゃん無双

Protopedia: https://protopedia.net/prototype/4993

メンバー

• 

  もーり @mouri45

  • プログラマ
  • プランナー
  • 動画制作

関連イベント

• ヒーローズ・リーグ 20212021-09-06 開催
• ProtoPediaの時間：紹介作品②（第51回〜100回まで）2021-12-01 開催

同じニオイがする作品

• reTerminalとHDMI入力でゲーム配信！ - HDMI入力拡張モジュール -
• VR謎解き街歩き in 京都祇園
• human mapping
• 牧場ビリヤード！(MetaQuest3,Pro,2対応MR/VRアプリ)