Data Quality アセットを適用してデータを変換する

学習の目的

この単元を完了すると、次のことができるようになります。

• Informatica Cloud における Data Quality アセットの目的を説明する。
  
• Data Quality アセットがデータをどのようにクレンジングして標準化し、強化するのかを説明する。
  

実際にデータを修正してみる

Jamal はデータ品質の問題を理解することができました。データのプロファイリングを実施して、統計情報を確認し、ルールを定義しました。いよいよ問題に対処します。

つまり、「適用」フェーズに進み、Informatica Cloud Data Quality (CDQ) のアセットを活用します。Data Quality アセットは、Data Quality サービスで作成する再利用可能なコンポーネントです。それぞれのアセットが、データ品質の特定の種類の問題に対応します。データを更新するには、Cloud Mapping Designer のマップレットまたはマッピングにある変換にこうしたアセットを適用します。

Data Quality アセット

IDMC の Data Quality サービスには、さまざまな設定オプションが用意され、特定の要件に合わせてカスタマイズできます。

ディクショナリ

ディクショナリは、承認済みの標準値をまとめた参照データオブジェクトです。各自の組織にとって、特定の項目の信頼できる情報源になります。たとえば、有効な国名、商品カテゴリ、部門コードなどのプライマリリストとして機能します。

このオブジェクトの少なくとも 1 列に、一連の値の標準値または推奨値を格納する必要があります (有効列)。その他の列には、ソースデータに存在する可能性があるバリエーションなど、代替値や関連する値を含めることができます。

ディクショナリを使用して次のことができます。

• 値が承認済みリストに存在するかどうかを確認する。
  
• 同じ値のバリエーションを標準化する。たとえば、「USA」「U.S.A.」「United States」をすべて「United States」にマッピングします。
  
• 非標準値を対応する推奨値に置き換えて、データを強化する。
  
• 値を検索して、対応する有効な値を返すという方法で、データを導出する。たとえば、国を検索して、対応する通貨を返します。
  

ディクショナリは基盤となるアセットです。ルール仕様、ラベラー、クレンジング、解析などのアセットはすべてディクショナリを使用するため、CDQ で最も汎用性が高い構成要素の 1 つになっています。

ルール仕様

ルール仕様アセットは、ビジネスルールのデータ要件を論理形式で表し、 以下の点を定義します。

• 項目に含めるべきデータの種別
  
• データが満たす必要のある条件
  
• データがルールに適合した、または不適合だった場合に実行するアクション
  

ルール仕様は、複数のデータセットやプロジェクト間で再利用できます。Jamal は、どの顧客レコードにも null 以外の有効なメールアドレスが必要であるというルール仕様を作成します。さらに、その同じルールを毎回再構築することなく、別のソースシステムで再利用します。

ラベラー

ラベラーアセットは、入力項目の情報の種別を識別し、各種別のラベルを対応する出力項目に書き込みます。次の 2 つのモードで動作します。

• トークンモード: 人名、会社名、国、商品など、情報の種別を示す文字列にラベルを適用します。
  
• 文字モード: 各文字にラベルが付けられます。電話番号、郵便番号、日付、社会保障番号などの国民識別番号に役立ちます。
  

ラベル付け操作は、ディクショナリ、正規表現、文字セットに基づいて実行できます。Jamal はラベラーを使用して、自由テキスト項目内の情報のパターンと種別を識別します。項目を標準化や解析する前に役立つステップです。

クレンジング

クレンジングアセットは、データの形式や内容を標準化する 1 つ以上のデータ変換ステップの集合体です。次のようなことができます。

• データセットのデータの一貫性を向上させる。
  
• データのエラーを修正する。
  
• 規制上の基準に準拠する。
  
• 下流のデータ品質イニシアティブに備える。
  

データクレンジングは通常、プロファイリング後に行う最初の変換ステップです。たとえば、Jamal は住所検証を実行する前に、住所データをクレンジングして、略語を標準化し、不要な文字を削除します。この処理によって検証ステップの効率性が高まります。

解析

解析アセットは、1 つのマルチドメイン入力項目のデータを、複数の個々のシングルドメイン項目に分割します。この処理は、名前や住所が 1 つのテキスト列にまとめて保存されている場合に特に役立ちます。

解析は次の 2 つのモードをサポートします。

• 事前構築モード: 一般的なデータ種別に対しては、事前定義された名前解析ロジックを使用します。たとえば、「John A. Smith」を名、ミドルネームのイニシャル、姓に分割します。
  
• カスタムモード: ディクショナリと正規表現を使用して、カスタム解析ロジックを構築できます。
  

Jamal は解析を使用して、氏名項目を名、ミドルネーム、姓、敬称、サフィックスの各項目に分割します。解析ではまた、追加データも自動的に生成されます。たとえば、「Mr. Jamal Booker」のように名前に敬称が付く場合や、略称を入力したときに正式な名前が示される場合などです。通常、解析処理は標準化プロセスの一環として実行されます。

ベリファイヤ

ベリファイヤアセットは、郵送先住所レコードの正確性と配達可能性を評価します。

ベリファイヤは次のような処理を行います。

• 入力された住所を、240 か所以上の国と地域を網羅する信頼性の高い参照データと照合する。
  
• エラーを修正して、住所形式を標準化する。
  
• 郵便番号や地理コードが不足しているレコードを追加データで補完する。
  
• 利用可能な場合は、地理座標を人が読める住所に変換する逆ジオコーディングをサポートする。
  
• 各住所の品質と状況コードを示すレポートを生成して、ビジネス判断を促進する。
  

ベリファイヤは、参照データをセキュアエージェントにダウンロードして、ローカルで処理できるようにします。住所検証を実行する場合は、別途の Verifier ライセンスが必要です。

重複排除

重複排除アセットは、ID マッチングを使用して、実在する同一エンティティを表す類似または関連レコードを識別してグループ化します。重複排除アセットに、変換の実行時に検索する ID の種別を指定します。ID の種別によって、変換で分析する入力項目が決まります。

重複排除で次のことができます。

• データセット全体の重複レベルを評価する。
  
• マッチングロジックに基づいて類似するレコードをクラスターに分類する。
  
• 複数のクラスターをまとめて、1 つの優先マスターレコードを作成する。
  

Jamal が顧客テーブルに対して重複排除を実行したところ、レコードの 14% が重複していることが判明しました。マーケティング、営業、財務の顧客数が食い違っていたのはこのためです。

Cloud Mapping Designer ですべてをまとめる

通常、Data Quality サービスで Data Quality アセットを作成し、Cloud Data Integration の一部である Cloud Mapping Designer 内で適用します。データを更新する場合は、マップレットまたはマッピング内の変換でアセットを使用します。

Jamal は Mapping Designer で、次のマッピングを作成します。

• ソースシステムから顧客データを読み取る。
  
• ラベラーを使用して、自由テキスト項目の情報の種別を識別する。
  
• クレンジングアセットを適用して、テキストの形式を標準化し、ノイズを除去する。
  
• 解析アセットを使用して、名前を個々の構造化項目に分割する。
  
• ベリファイヤを実行して、住所データを検証して強化する。
  
• 重複排除変換を適用して、重複レコードをまとめる。
  
• 信頼できるクリーンなデータを対象システムに書き込む。
  

この結果、Jamal の組織全体にとって頼りになるデータセットが出来上がりました。

Cloud Data Quality の使用前と使用後

Data Quality は、カスタムルールを適用して、未加工データの検出、修正、標準化を行います。この結果、一貫性のないレコードや不完全なレコードが、検証済みの信頼できる出力に変換され、ビジネスで使用できるようになります。

データ品質プロセスで、一般的な項目種別がどのように標準化されるのか見てみましょう。

これで、解析やベリファイヤなどの Data Quality アセットを適用して、データをクレンジングして標準化する方法がわかりました。こうした基礎的なスキルを身に付ければ、データの劣化に対処して、組織全体で質の高い信頼できるデータを利用できるようになります。