動的値を自動 GUI 検索で使用する

学習の目的

この単元を完了すると、次のことができるようになります。

• アクティビティパラメーターをワークフローに追加する。
  
• OCR アクションステップを使用して Web ページ上のテキストを見つける。
  

この単元では、OCR (光学文字認識) アクションステップを使用して、アクティビティパラメーターに設定された値と一致するテキスト文字列があるか GUI を動的に検索する方法を学習します。これにより、同じ RPA プロセスで、アクティビティパラメーターに設定された値に応じて異なる値を検索できます。

どのような場合に OCR アクションステップを使用するか

Image Search アクションステップは、MuleSoft RPA Bot で画面上の参照ポイントを見つけるのに役立つ強力なツールです。ただし、Bot で検索する語を必要に応じて変えたい場合はどうすればよいでしょうか? その場合は OCR を使用します。OCR ではページ上のテキストが語とそれぞれの座標のリストに変換され、そのリストに語句が存在するかどうかが調べられます。

OCR はシンプルな Image Search よりも複雑です。適切に機能させるにはより多くのカスタマイズとテストが必要です。ただし、OCR の動的テキスト検索機能にはその複雑さに見合う価値があります。 

キーボードショートカットとキーストロークを実装する

MuleSoft RPA Bot でエミュレートする必要があるもう 1 つの一般的な人間のアクションはキーストロークです。キーストロークは、Enter String アクションステップまたは Keystrokes アクションステップを使用して実行します。

どのような場合に Enter String ではなく Keystrokes を使用するか

Keystrokes アクションステップを使用すると、キーストロークを記録し、テキストが入力されるウィンドウを指定できます。たとえば、MuleSoft RPA Bot で Ctrl+f キーを使用する場合、そのコマンドを実行するウィンドウを指定できます。それ以外のすべての場合では、Enter String アクションステップを使用することをお勧めします。

OCR をアクティビティパラメーターおよび Keystrokes と組み合わせて動的テキストを検索する

OCR を使用してリストやアクティビティパラメーターに保存されている語のインスタンスを動的に検索する準備ができました。アクティビティパラメーター (変数) はデータを RPA フローに渡したり、フローアクティビティ間で渡したりするために使用します。このユースケースでは、操作する Web ページに多くの仮想ミートアップと仮想イベントのリストが含まれます。このリスト内で最初に見つかった Composer イベントに出欠の返信 (RSVP) をします。値「Composer」は、動的にするためにアクティビティパラメーターとして保存されます。

まず、Google Chrome™ Web ブラウザーの組み込み検索機能 (Ctrl+f キーストローク) を使用してアクティビティパラメーターに保存されている値を検索します。これにより、Web ページが自動的にスクロールされて値 (この場合は Composer) の最初のインスタンスを見つけます。

ただし、値が画面に表示されているだけでは、MuleSoft RPA Bot がその位置を認識できるとは限りません。Image Search アクションステップを使用すれば値が見つかると思うかもしれませんが、値は動的なのでうまくいかないことがわかります。Image Search アクションステップには動的値を検索する機能がありません。 

このような場合には OCR アクションステップが便利です。次のスクリーンショットを見ると、[Search Mode (検索モード)] が [Fuzzy Comparison (ファジー比較)] に設定されている場合、[Search Text (検索テキスト)] をアクティビティパラメーターに設定できます。このように、OCR アクションステップでは動的値を見つけることができます。

テキストの位置を特定したら、その位置をアンカーポイントとして使用して検索領域を狭め、正しいイベントに返信できます。

ウォークスルー

OCR を使用して動的値を検索する方法を学習できました。次の動画デモでこのスキルを実践する方法を確認してください。実際に実行する場合は、こちらの「ウォークスルー手順」を参照してください。

この単元では、Keystrokes を使用して Web ページを操作する方法を学習しました。ボットタスクワークフロー内でアクティビティパラメーターを使用する方法と OCR アクションステップを使用する方法も学習しました。

Chrome は Google LLC の商標です。