1.カラーテレビゲーム15のTV出力の配線を入れ替え
(ノイズが大きかったので、基盤の部分から取り替えました。上の画像の3枚目)
2.RFスイッチは外し、セラミックコンデンサを追加
【参考動画】
(Youtube)【RF】いろいろ接続可能なシンプル直結"RFケーブル"製作
3.RF→HDMI変換器を接続
【参考サイト】
レトロゲーム機のRF出力をHDMIに変換する
4.HDMI→USBビデオキャプチャを接続
5.Androidの画面操作をscrpyで実施
*ubuntu(Linux)はclusterが動作しないため
scrpyはaptでインストールするとエラー(Ver 1.12.1)
手動でビルドすると動作可能(Ver 1.24)
https://github.com/Genymobile/scrcpy/blob/master/BUILD.md
6.キャプチャ画面をPythonのmssでスクリーンショット
【参考サイト】
Python MSS サンプル
7.スクリーンショットをPythonのOpenCVで
テンプレートマッチングし、カーソル位置を検出
【参考サイト】
OpenCV でテンプレートマッチングする(サンプルコード)
8.検出した位置によってPythonのPyAutoGUIで操作
【参考サイト】
Pythonでマウスやキーボードを操作できるPyAutoGUIによる自動操作マニュアル