データ品質管理プロセスを理解する

学習の目的

この単元を完了すると、次のことができるようになります。

• データ品質管理プロセスの 4 つのフェーズについて概説する。
  
• データ品質の 6 つの特性について説明する。
  
• データ品質業務に役立つサービスについて説明する。
  

データ品質は、一度きりのプロジェクトではなく、継続的な取り組み

Jamal はこれまで、データ品質を一度修正すれば済むもの、つまりクリーンアップして、チェックマークを付ければ終わりと考えていました。ところが、深く学んでいくうちに、データ品質は達成するものではなく、継続的な実践であることを認識するようになりました。

日々新しいデータが届きます。システムは変化します。レコードも古くなります。継続的に取り組まなければ、クリーンなデータもすぐに信頼できなくなります。Informatica Cloud Data Quality (CDQ) が循環的なプロセスを中心に構築されているのはそのためです。データ品質を積極的に管理する継続的なループになっています。

データ品質管理プロセス

CDQ は循環する 4 つのフェーズでデータ品質を管理します。

• 検出: データを修正するためには、まず扱っているデータについて理解する必要があります。データソースを分析して、欠損値、形式のばらつき、レコードの重複など、品質上の問題を特定します。ここで極めて重要なツールがデータプロファイリングです。
  
• 定義: 問題を把握したら、データが満たすべきルールと標準を定義します。有効な値がどのようなもので、どの形式が認められ、何をもって重複レコードとするのかを指定します。
  
• 適用: ルールを定義したら適用します。CDQ のクレンジング、解析、検証、重複排除の各アセットを使えば、一貫性のない未加工データが、標準化された信頼できる情報に様変わりします。
  
• 監視: データ品質は修正された状態で維持されるものではありません。スコアカードと継続的なプロファイリングを使用して、品質のトレンドを経時的に追跡すれば、新たな問題を察知して、下流での問題を防ぐことができます。
  

この検出、定義、適用、監視のサイクルが継続的に繰り返されるため、組織全体のデータ品質が向上し、高い水準で維持されます。

データ品質の特性

実際にデータの「質が高い」かどうかはどのように測定するのでしょうか? Informatica では、データ品質の 6 つの主な特性に基づいてデータの状態を評価して報告します。

Jamal は上記の特性を知って合点がいきました。顧客数の食い違いは、 一貫性に問題があったということです。郵便の不達は、 正確性と妥当性の問題です。顧客リストが膨れ上がっているのは、 一意性の問題です。6 つの特性は、各種の問題を的確に診断するためのフレームワークになります。

データ品質サービス

CDQ では、その機能が、データ品質ライフサイクルの特定の領域を対象とする各サービスに整理されています。

• Data Profiling: データを分析して完全性、妥当性、一貫性を評価します。データ品質プロジェクトの出発点です。
  
• Data Quality: DQ アセット (ディクショナリ、ルール仕様、ラベラー、クレンジング、解析、ベリファイヤ、重複排除) を作成して管理するサービスです。
  
• Data Integration: マッピングやマップレット内で DQ アセットを適用し、ソースデータを変換します。
  
• Data Governance and Catalog: データ品質トレンドのスコアカードによる評価と組織全体の監視をサポートします。
  
• Monitor: データ品質プロファイルとマッピングジョブの実行状況を追跡します。
  

Main Stage Analytics が上記のサービスを組み合わせれば、データの最初の検出から継続的な監視まで、プロセス全体を管理できます。

続いて、データ品質管理プロセスを実践します。次は、検出フェーズについて学習し、データプロファイルを使用してデータに潜む品質の問題を明らかにします。