Power Automate DesktopでPC画面内の指定した画像を探し、カーソルを持っていきクリックする

2 min read

噂の無償RPAソフト 『Power Automate Desktop』

  • マイクロソフトから、手軽にRPAを手作りできるソフト(Microsoft Power Automate)がでた(2020/03/02)
  • 「PC画面内の指定した画像を探して、カーソルを持っていきクリックする」という、RPAしたい人にとって基本となる(と思う)機能を紹介。
  • 結果:とても楽。プログラミング知識がない人でも直観的にできそう。

インストール

手順

  1. 左上の「+新しいフロー」をクリック

  2. 名前を付けて保存

  3. 別ウィンドウが開く

  4. マウスを特定の位置に持っていく指示を出す

    • 「マウスとキーボード」>「マウスを画像に移動します」アクション
  5. このようなパラメータ選択画面がでてくる。

  6. 「画面をキャプチャ」をクリックするとこのような虫眼鏡が現れ、キャプチャ開始箇所のクリックを待機する状態になる。

  7. クリックさせたいところをキャプチャ

  8. マウスを移動させたい画像(=マウスを移動させたい位置)をパラメータとして与えることができた。

  9. 以降のパラメータでは、マウスが移動するモーションを入れるか/移動後にクリックするか/クリックの種類…などが選択可能。
    今回は、すぐ移動させ、移動後に右クリックさせてみる。

  10. 左上の「▷」(実行)ボタンをクリックすると…

  11. 実行前…

  12. 実行後。指定の位置で右クリックできた

感想

  • とてもハードルが下がっていると思いました。
  • 例えばPythonのPyAutoGuiパッケージで同じことをしようとすると、画像を別途保存し、所定のディレクトリへ格納する必要がある。名前を考えるのも面倒だし、作り直しも面倒になってくる。

Discussion

ログインするとコメントできます