Windows プログラムとの動的インタラクションを自動化する
学習の目的
この単元を完了すると、次のことができるようになります。
- ページが正しく読み込まれたことを確認する。
- Image Search の結果を後続の Image Search のアンカーとして使用する。
始める前に
専門的なスキルがあれば、より高度なユースケースに対処でき、コードの柔軟性と再利用性を高めることができます。こうしたスキルとして、エラーの処理、リストやコレクションのループ処理、RPA Bot Task ワークフロー内の論理的判断、より動的なパターン認識アクションステップの使用などがあります。
ここでは、組織で MuleSoft RPA ライセンスを購入済みであると想定しています。組織が MuleSoft RPA ライセンスを購入していなくても問題ありません。このまま読み進んで、MuleSoft RPA Builder ユーザーがこれらの手順をどのように実行するのかを見てみましょう。MuleSoft RPA Builder は Trailhead Playground で使用できないため、記載の手順を Trailhead Playground で実行しないでください。
このモジュールで紹介する概念を理解するのにプログラミングの背景知識は必要ありません。プログラミングの背景知識がある方は、こうした概念の多くをすでによく知っているかもしれません。プログラミングの背景知識がない場合、このモジュールを読み進めると共に、最初の RPA プロセス実装プロジェクトでは RPA 開発者とペアを組むことをお勧めします。
この単元では、Image Search アクションステップでアンカーポイントを設定して検索領域を限定する方法を学習します。次に、そうしたアンカーポイントから相対的に近くの UI 要素を識別し、特定のドロップダウンリストの項目選択を自動化する方法を学習します。
動的インタラクションを自動化する
人間は Web ページの操作時、ボタンをクリックしたり、キーストロークを入力したり、ページをスクロールダウンしたりすると変化が起きるだろうと考えます。MuleSoft RPA ボットでは、こうした動的インタラクションも自動化する必要があります。
アンカーポイントを使用して検索領域を限定する
前のモジュールでは、全画面との関連から画像を検索することに着目しました。その場合、検索領域は常に画面の左上隅に関連付けられます。狭めた検索領域を追加するときでも、検索領域の左上隅は画面の左上隅から一定の距離にあります。一方、Image Search は相互に関連付けることができます。2 回目の検索で 1 回目の検索の位置を参照ポイント、つまりアンカーポイントとして使用できます。これにより検索領域を動的にすることができ、ボットは画面の絶対的なセクションではなく、他の要素と相対的に検索することができます。
1 つ目の注意点は、検索の精度とパフォーマンスを高めるために検索領域を狭めることです。2 つ目のほぼ間違いなくもっと重要な注意点は、複数の同じ画像があるシナリオに対処し、選択すべき正しい画像を判断することです。
たとえば、複数の行と列があるレポートを表示する場合、ある列にその行のレコードを開く [Open (開く)] ボタンがあるとします。このボタンは各行に表示されています。Image Search を使用して正しい行を識別し、次にその位置をアンカーポイントとして使用することで検索領域を狭め、正しい [Open (開く)] ボタンを特定できます。
ページが正しく読み込まれたことを検証する
Web サイトを表示するとき、通常、人間が使用するインタラクションはナビゲーションです。たとえば、Mouse Actions でページをスクロールダウンし、探している項目が含まれるハイパーリンクを選択します。ハイパーリンクをクリックしたら、当然、新しいページが読み込まれるだろうと考えます。
前のモジュールでは、Mouse Actions アクションステップを使用してハイパーリンクをクリックできることを学習しました。クリックしたら、ページが正しく読み込まれたことを検証する必要があります。これを検証するために、さらに Image Search アクションステップを追加して、新しいページに存在する可能性がある特定のテキストまたは画像を見つけることができます。Image Search で一致が見つかると、MuleSoft RPA Bot によってページが正しく読み込まれたことが検証されます。Image Search で一致が見つからない場合、MuleSoft RPA Bot によって次のタスクではなく、このタスク内でエラーがスローされます。
ドロップダウンを操作する
ドロップダウンも Web サイトでよく使用される動的インタラクション要素です。ドロップダウンとのインタラクションには通常、次のアクションステップが必要です。
- Image Search アクションステップを使用してドロップダウンを見つける。
- Mouse Actions アクションステップを使用してドロップダウンを開く。
- Image Search アクションステップを使用してドロップダウンのオプションを見つける。
- 前の Image Search アクションステップを参照して検索領域を設定する。
- Mouse Actions アクションステップを使用してドロップダウンオプションをクリックする。
ウォークスルー
ページ読み込みの検証、アンカーポイントの使用、ドロップダウンとのインタラクションについて学習できました。次の動画デモでこのスキルを実践する方法を確認してください。手順を実行したい場合は、「ウォークスルーの手順」を参照してください。