筆談GPT

これまでChatGPTとA-Frameを組み合わせて、3Dオブジェクトの生成や編集を可能にするデモを作ってきました。

しかし、プロンプトをVR空間で入力しようとするとどうしてもコントローラ操作が大変。かと言ってボイスコマンドを使うために何もないところで喋るのも恥ずかしい。そんな問題を解決するため手書きの文字を認識させ、ChatGPTと筆談をできるようにしてみました。
こちらでデモをご覧いただけます！

続き。コントローラでの文字入力はしんどい。かといって音声入力で急に喋り出すのも好きじゃないので、紙に書いて筆談してみた。Questの場合、直に画像にアクセスできないので工夫が必要だけども実際にQuestの視界に映っている指示を認識させています。#AR_Fukuoka #ChatGPT #WebXR #WebAR #QuestPro https://t.co/5zzQfa0pjG pic.twitter.com/3QlsW22f18

— TakashiYoshinaga Ph.D. (@Taka_Yoshinaga) March 30, 2023