🐙

PyAutoGUIのチートシート

2022/12/10に公開

以下リンク(本家)のうち、使いそうなところだけまとめました。
詳しくは本家を見てください。
https://pyautogui.readthedocs.io/en/latest/quickstart.html

pip install pyautogui Pillow==8.3でインストール。(最新のPillow==8.3.1だとエラーすら吐かずに落ちる)
import pyautoguiでインポート。

下の関数を呼び出す際は手前にpyautogui.を付けましょう。

設定

動作 コード
すべて1秒おきにする PAUSE = 1.0

いろいろ取得

動作 コード
ポインタ位置を取得 position()
スクリーンサイズを取得 size()
画像と一致する部分(4隅)を取得 locateOnScreen('myBestPicture.png')
画像と一致する部分(中心)を取得 locateCenterOnScreen('myBestPicture.png')
スクリーンショットを取得(戻り値はPIL.Image) screenshot('sukusho.png')
x=123, y=456の色を取得 pixel(123, 456)
x=123, y=456の色が赤であるかどうか pixelMatchesColor(123, 456, (255, 0, 0))

キーボード操作

動作 コード
'yakiniku'と書く(英語のみOK、他言語はコピペで対応) typewrite('yakiniku')
'yakiniku'の順でキーボードを押して離す typewrite(['y', 'a', 'k', 'i', 'n', 'k', 'u'])
Shiftキーを押す keyDown('shift')
Shiftキーを離す keyUp('shift')
Shiftキーを押して離す press('shift')
Ctrl押してV押してV離してCtrl離す hotkey('ctrl', 'v')

日本語のコピペはpyperclipで

pyperclip.copy("ほかの言語も多分同様の処理が必要です。")
pyautogui.hotkey('ctrl', 'v')

マウス操作

動作 コード
座標(123, 456)まで789秒かけてポインタを動かす moveTo(123, 456, duration=789)
今の位置 + x=123, y=456の座標までポインタを動かす moveRel(123, 456)
座標(123, 456)まで789秒かけてドラッグ dragTo(123, 456, duration=789)
今の位置 + x=123, y=456の座標までドラッグ dragRel(123, 456)
左ボタンを押す mouseDown()
左ボタンを離す mouseUp()
左ボタンを押して離す click()
左上からx=123, y=456の位置で場所で左ボタンを押して離す click(123,456)
指定画像を探してその真ん中でクリック click('button_ok.png')
ダブルクリックする doubleClick()
トリプルクリックする tripleClick()
中クリックする middleClick()
右クリックする rightClick()
12回分スクロールする scroll(12)

キーボードに対応した文字列たち

available_keys = ['\t', '\n', '\r', \
'0', '1', '2', '3', '4', '5', '6', '7','8', '9', \
'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', \
'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', \
'`', '~','!', '@', '#', '$', '%', '^', '&', '*', '(', ')', '-', '_', '+', '=', \ 
'[', ']', '{', '}', ':', ';', "'", '"', '|', ',', '<', '.', '>', '/', '?', '\\', \
' ', 'backspace', 'capslock', 'space', 'tab', 
'enter', 'esc', 'escape', 'return', 'separator',]

combos = ['alt', 'altleft', 'altright', 'win', 'winleft', 'winright', \
'ctrl', 'ctrlleft', 'ctrlright', 'shift', 'shiftleft', 'shiftright', \
'command', 'option', 'optionleft', 'optionright', 'fn', ]

function_keys = ['f1', 'f2', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8', 'f9', 'f10', 'f11', 'f12', \
'f13', 'f14', 'f15', 'f16', 'f17', 'f18', 'f19', 'f20', 'f21', 'f22', 'f23', 'f24', ]

num_keys = ['num0', 'num1', 'num2', 'num3', 'num4', 'num5', 'num6', 'num7', 'num8', 'num9', \
'decimal', 'numlock', 'subtract', 'multiply', 'add', 'divide', ]

middle_of_full_keyboard = ['left', 'right', 'up', 'down', \
'print', 'printscreen', 'prntscrn', 'prtsc', 'prtscr', 'pause', 'scrolllock', \
'insert', 'home', 'end', 'del', 'delete', 'pgdn', 'pagedown', 'pgup', 'pageup', ]


browser_keys = ['browserback', 'browserfavorites', 'browserforward', 'browserhome',
'browserrefresh', 'browsersearch', 'browserstop', 
]

media_keys = ['apps', 'launchapp1', 'launchapp2', 'launchmail', 'launchmediaselect', \
'modechange', 'nexttrack', 'playpause', 'prevtrack', 'sleep', 'stop', 
'volumedown', 'volumemute', 'volumeup', ]

language_specific = ['convert', 'hanguel', 'hangul', 'hanja', 'junja', 'kana', 'kanji', 'nonconvert', 'yen']

i_dont_know = ['accept', 'final', 'execute', 'select', 'clear', 'help', ]

使っていて気づいたこと

画像を探す系は見つからなかった場合にNoneが返ってくるみたいです。
本当は例外がスローされるって書かれてるけど、自環境だとそうならないです。

操作するウィンドウによってはうまくいきません。
自分の環境だとMicrosoft Office関係はうまくいきませんでした。
形式の変換が必要だったので、unoconv + LibreOfficeで進めることにしました。

Discussion