RPA プロセスを使用して GUI ナビゲーションを自動化する

学習の目的

この単元を完了すると、次のことができるようになります。

• Image Search アクションステップを使用してリンクを見つける。
• Mouse Actions アクションステップを使用して Web ページのリンクをクリックする。

よく使用されるアクションステップを設定する

MuleSoft RPA Builder ツールボックスには、ほぼすべての RPA プロセス実装でよく使用されるアクションステップが複数用意されています。この単元では、Search Pattern (検索パターン)、Image Search (画像検索)、Keystrokes (キーストローク)、Mouse Actions (マウスアクション) の 4 つのアクションステップを紹介します。Image Search と Mouse Actions アクションステップについては、この単元のウォークスルーで詳しく説明し、残りのアクションステップは他のモジュールで取り上げまず。

Image Search と Search Pattern アクションステップを使用する

Web サイトやアプリケーション内のテキストや画像を検索するには、Image Search または Search Pattern アクションステップを使用するという選択肢があります。どちらも入力画像を受け取り、検索を行います。ただし、一般的に Search Pattern は単純なパターンに最も適しています。Image Search は複雑な画像を検索するように設計されています。さらに、Image Search では色のバリエーションや画面解像度の違いを考慮するなどの自動調整も行うことができます。

テキストの検索は Search Pattern の最適な使用事例のように思えますが、実は、多くのコンピューターはデフォルトでフォントのスムージングが有効になっています。フォントスムージングは、テキストの表示が人間の目でより美しく見えるように、コンピューターでフォントをピクセルレベルで滑らかにする場合に行われます。 

残念ながら、これは Search Pattern アクションステップで問題が発生する原因となります。安定したソリューションを作成するため、テキスト検索時には Image Search を使用することをお勧めします。Image Search を実行すると、検索が左上隅から始まり、左から右、上から下へと進んでいき、最初の肯定的な検索結果が返されます。

一意の画像を使用する

画像を検索するときは、その画像が一意であることを確認します。一意であることで、画像の正しいインスタンスを選択できるようになります。プロセスの成功率を最大限に高めるには、識別可能な最小画像を選択します。画像が小さいほど、情報が変更される可能性が低くなります。これは、特にテキストでは重要です。さまざまな条件下でスペースのサイズやその他の特性が若干変わる可能性があるためです。この点を踏まえ、複数の単語を検索しないようにしてください。 

次の例を見てみましょう。次のスクリーンショットに示されているように、「Find a Meetup near you」というテキストを検索する場合は「Find」という単語が一意になるでしょう。

精度に関する詳細

次に、検索領域を選択する必要があります。つまり、MuleSoft RPA ボットが画像を検索する画面部分を指定します。経時的にページレイアウトが変更される懸念がある場合は、画面の大部分を指定します。ただし、レイアウト変更がなく、パフォーマンスを向上させる必要がある場合は、検索領域を縮小することでボットの負荷が軽減されます。このユースケースでは、検索領域でボタンをキャプチャする必要があるため、全画面を検索します。

画像検索アルゴリズムの調整

画像検索に使用される検索アルゴリズムを変更することができます。利用可能なアルゴリズムは、[Color (色)]、[Gradient (グラデーション)]、[Contour (輪郭)]、[Contour Plus (輪郭+)] です。一般的には、色のバリエーションの安定性が高く、さまざまなデスクトップ解像度が考慮されるため、[Contour (輪郭)] をお勧めします。[Contour (輪郭)] モードでは、黒/白のしきい値を調整できます。数値が低いほど、アルゴリズムで高コントラストの画像やテキストをより適切に検索できます。通常、デフォルトの 10 で十分に機能しますが、より複雑な画像など、場合によっては、この数値を増やす必要があります。

必要な一致精度を調整することもできます。このパーセントで示される精度で、特定された画像が開発中に定義した画像とどの程度完全に一致すべきかを指定します。値が低いほど、誤検出が発生する可能性が高くなります。ですが、完全一致を必要とすると、別のマシンでプロセスを実行する場合に、わずかな設定の違いでプロセスが正常に実行されない可能性が高くなります。MuleSoft Services RPA 開発者が試行錯誤を繰り返した結果、多くの実際の実装において 88 パーセントが適切な精度のしきい値であることがわかっています。

また、ベストプラクティスとして、[Wait until image is steady (画像が安定するまで待機)] チェックボックスをオンにして、画面の安定を確認するまでの待機時間を調整してから画像検索を実行することも挙げられます。たとえば、前の Mouse Actions アクションステップでリンクがクリックされた直後に読み込まれた Web ページを検索する場合、Web ページが完全に読み込まれるまでにかかる時間を考慮する必要があります。

Mouse Actions アクションステップを使用する

人間のユーザーは、マウスを使用して画面上で新しい項目をポイント、ドラッグ、ドロップ、選択します。MuleSoft RPA Builder には、MuleSoft RPA ボットでマウスアクションをシミュレートするための Mouse Actions アクションステップが用意されています。

マウスアクションの実行位置を指定する方法は 2 つあり、[Start (開始)] をクリックしてマウスアクションを記録し、F10 を押して記録を停止することも、+ 記号をクリックして、マウスアクションを手動で入力することもできます。

マウス速度を遅くして、最初のアクションの遅延を追加する

MuleSoft RPA ボットはポインターが所定の位置に置かれる直前にクリックを開始することがあり、その場合、ボットはリンクをクリックするのではなくドラッグしようとします。これを回避するには、[Mouse Actions Wizard (マウスアクションウィザード)] で [Mouse Clicks] アクションをダブルクリックします。このアクションを実行すると、[Mouse Action Edit (マウスアクションの編集)] ウィンドウが開き、[Enable initial action delay (最初のアクションの遅延を有効化)] チェックボックスをオンにすることができます。デフォルト値の 500 ミリ秒で問題ありません。これにより、ポインターが正しい位置に置かれてからクリックが実行されるまで、ボットは 500 ミリ秒待機するようになります。この設定で問題がある場合は、[Mouse Actions Wizard (マウスアクションウィザード)] でマウスの速度を遅くしたり速くしたり調節することもできます。

Keystrokes アクションステップを使用する。 

Keystrokes アクションステップでは、ユーザーが押したすべてのキーがキャプチャされます。さらに、Alt、Shift、Ctrl などの変更キーも記録されます。

ウォークスルー

次の動画で、Web ページ上のテキストを検索してクリックする方法をご覧ください。手順を実行したい場合は、「ウォークスルーの手順」を参照してください。 

この単元では、Image Search アクションステップを Mouse Actions アクションステップと組み合わせて、Web ページ内の移動、テキスト文字列の検索、リンクのクリックを行いました。