プロファイリングを使用してデータ品質の問題を検出する
学習の目的
この単元を完了すると、次のことができるようになります。
- データ品質管理プロセスにおけるデータプロファイリングの位置づけについて要約する。
- プロファイルルールでデータの異常を検出する方法について説明する。
- データ品質を監視するために、スコアカードによる評価を使用するメリットについて説明する。
修正する前にデータを点検する
Jamal の組織では、顧客データを、CRM、E コマースプラットフォーム、レガシーデータベースという 3 種類のシステムから取り込んでいます。データのクレンジングや標準化を行う前に、まず扱っているデータについて正確に理解する必要があります。何かおかしいという漠然とした感覚ではなく、根拠に基づいて問題点を明確に把握する必要があるということです。
ここで役立つのがデータプロファイリングです。
データプロファイリングの概要と位置づけ
データプロファイリングは、データ品質管理プロセスの検出フェーズにおける基盤的なステップです。修正や変換を適用する前に、データを分析してその構造、内容、品質を理解するための手法です。
データの健康診断のようなものと考えることができます。医師が治療を処方する前にまず診断を行うのと同様に、データのクレンジングや変換を試みる前にデータのプロファイリングを行います。プロファイリングでは、データセットの指定されたすべての項目の内容を分析し、データ品質の 6 つの特性に基づいて品質の低いデータを特定します。
CDQ の Data Profiling サービスでは、接続されている任意のデータソースに対してプロファイルタスクを実行できます。プロファイルが実行されると、次の操作が可能になります。
- 過去のプロファイルと最新のプロファイルの結果を表示して、経時的な変化を追跡する。
- 2 つのプロファイル実行を並べて比較し、新たな問題点を察知する。
- 特定の値、データ型、パターンを分析して異常を調査する。
- 値の頻度分析を実施して、一意性を確認し、繰り返し出現する値を特定する。
- データ項目のパターンや形式を特定する。
- 結果を Microsoft Excel にエクスポートして、さらに分析する。
- プロファイルジョブの状況をリアルタイムで監視する。
プロファイリングに基づくレポートは、次のフェーズで適用するクレンジングや標準化のプロセスに直接活用されます。
プロファイリングの測定項目
CDQ では、データセットのプロファイリングで、列ごとの豊富な統計情報を生成します。
メトリクス |
測定結果 |
|---|---|
null 数 |
欠損値の数 (完全性) |
一意か否か |
一意の値と繰り返し出現する値の数 (一意性) |
最小値と最大値 |
項目の値の範囲 |
最小長と最大長 |
最短の値と最長の値 — 切り捨てられたデータの検出に役立ちます |
パターン |
項目で一般的に見られる形式 (妥当性) |
値の頻度の外れ値 |
出現が想定よりも頻繁または稀な異常値 (正確性) |
推定または文書化されているデータ型 |
データが想定される型と一致しているかどうか |
Jamal が顧客住所項目のプロファイリングを行ったところ、レコードの 12% は郵便番号が null で、電話番号の 8% が想定されるパターンと一致していないことが判明しました。これで、何を修正すべきかと、どの特性に問題があるのかを、根拠に基づいて正確に把握することができました。
プロファイルルールを使用して異常を検出する
プロファイリングの統計情報を見れば、データに何が含まれているのかがわかります。プロファイルルールを使用すると、データに何を含めるべきかを定義して、その基準を満たさないデータに自動的にフラグを設定できます。
CDQ では、プロファイルルールを作成してデータセットに適用します。ルールは、データが満たすべき条件を定義します。ルールを設定すると、ルールに違反したレコードに例外のフラグが付けられ、注意を要するデータのアクション可能なリストが明示されます。
たとえば、Jamal はすべての顧客レコードのメールアドレスに有効な形式を義務付けるルールを作成します。CDQ でこのプロファイルを実行すると、メールアドレスがないレコード、形式が正しくないレコード、無効なドメインが含まれているレコードがすべて自動的に特定されます。Jamal は何千もの行を手作業で確認しなくても、数秒のうちに的確な例外レポートを取得できます。
プロファイルルールは複数のデータセットで再利用できるため、組織全体にデータ標準を適用する拡張性の高い手段になります。例外となったレコードをファイルに出力し、必要に応じて手動で修正できます。
スコアカードで品質の推移を追跡する
データ品質の問題を修正することは大切ですが、実際に改善しているかどうかはどうやって確認するのでしょうか?
ここで役立つのがスコアカードです。
Informatica Cloud Data Governance and Catalog (CDGC) サービスで管理するスコアカードには、データ品質スコアの推移が視覚的に表示されます。プロファイルの実行結果とルールの評価が 1 つの読みやすいビューに集計され、以下の機能を備えています。
- データ品質の特性別 (完全性、妥当性、正確性、一意性など) の現在のデータ品質スコア
- トレンドの推移。品質が向上しているか、低下しているか、横ばい状態かを示します。
- 品質が許容されるしきい値を下回っている具体的な領域
Jamal とそのチームにとっては、スコアカードにより、データ品質が漠然とした懸念から測定可能なビジネスメトリクスに一変します。スコアカードを使用して品質目標を設定し、進捗状況を追跡するほか、問題が下流のシステムや判断に影響を及ぼす前に対処できます。また、スコアカードにより、データに対する責任を担う文化が育まれます。つまり、チームは自らのデータの品質を把握し、その改善に責任を持つようになります。
データプロファイリングを実施すれば、データの状態を簡単に検証し、どこに異常があるのかを正確に特定できます。次の単元では、こうしたインサイトに基づいてアクションを実行するために、Data Quality の特定のアセットを適用してレコードを標準化して変換します。