データの品質と信頼性を高める

学習の目的

この単元を完了すると、次のことができるようになります。

• メタデータコマンドセンターでメタデータをカタログに取り込む方法を説明する。
  
• メタデータコマンドセンターのユースケースを挙げる。
  
• ビジネスアセットとテクニカルアセットを区別する。
  
• Cloud Data Governance and Catalog でデータ品質を監視する方法を説明する。
  

メタデータコマンドセンター

現代の企業において、データはビジネスの生命線です。ただし、ガバナンスがなければ、組織のデータはとてつもなく大きい雑多な引き出しに入ったガラクタにすぎません。この混沌としたデータを競争上の優位性に変えるには、Cloud Data Governance and Catalog (CDGC) を使用する必要があります。

では、CDGC は雑多な引き出しの中に何があるかをどのようにして知るのでしょうか。この環境を使用するには、それを支える機構、使用される言語、運用を維持する健全性の監視について理解する必要があります。

メタデータコマンドセンター (MCC) について見てみましょう。CDGC がマーケティングマネージャーである Maria がデータの検索に使用するクリーンなストアフロントであるなら、MCC はデータアーキテクトである Mateo がスキャナーの設定を行う管理ハブと言えます。このスキャナーは、Mateo が雑多な引き出しの隅々に送り込む自動仕分け機のようなものと考えることができます。それがある場所がクラウド (AWS S3、Azure Data Lake) であるか、従来のデータベース (Oracle、SQL Server) であるか、ビジネスインテリジェンス (BI) ツール (Tableau、Power BI) であるかは問いません。

Alpine Group は、顧客ロイヤルティデータをクラウドに移したところです。Mateo は、MCC を使用することを楽しみにしています。500 もの新しいテーブルを手作業で記録する必要がなくなるからです。MCC を使い始めるには、Snowflake スキャナーを選択してログイン情報を入力します。

その後、MCC によってデータがスキャンされ、自動的に作業が開始されます。

• メタデータを抽出する: データについてのデータ (テーブルの名前、列のデータ型、作成日) を取り込みます。
  
• データをプロファイリングする: 「電話」という名前が付けられた列に実際に電話番号が含まれていることを検証します。
  
• リネージを発見する: Snowflake にある Customer_Gold テーブルの取得元が S3 バケット内の CSV ファイルであることを特定します。
  
• データを分類する: AI を使用してメタデータを調べて自動的にタグを付けるため、手動ルールを必要とせずにデータを分類できます。
  
• リレーションを発見する: 実際の値を分析することによりテーブルと列の間の隠れたリンクを自動的に明らかにします。Maria は、データセットがどのように連携するかを推測する代わりに、その結合方法についての提案を即時に取得します。
  
• 用語集を関連付ける: 用語集からのビジネス用語が Maria の列とテーブルに自動的にリンクされるため、手作業を必要とせずに、わかりやすい名前を技術的なデータに割り当てることができます。
  

スキャンが完了すると、このデジタル DNA はデータカタログに公開され、誰でも検索できるようになります。

そのほかの MCC 機能

MCC には、カタログソースのスキャンのほかにも幅広い機能が含まれています。次のような機能があります。

• ルックアップテーブル: AI がデータを正確に特定して適切なビジネス用語と一致させることができるように、既知の値のリスト (国やコードのリストなど) をアップロードして管理します。
  
• ジョブの監視: バックグラウンドタスクの状況を確認し、データのスキャンと更新が正常に行われているかを判断します。
  
• リネージの管理: さまざまなデータソースを接続し、データの取得元と行き先を正確に示すビジュアルマップを作成します。
  
• アクセス制御: 権限とロールを設定し、適切なユーザーのみが特定の情報を表示または変更できるようにします。
  
• ワークフロー管理: 適切なエキスパートが変更の確認と承認を行うことを確実にするために、承認プロセスを作成して追跡します。
  
• アセットグループ: 関連するアセットをグループ化して管理を簡易化し、アクセス権限を MCC でまとめて制御します。
  
• カスタム属性: 特定のデータに対して、データを説明する追加のプロパティを作成できます。
  
• 分類ルールの作成: カタログへの取り込み中にデータを分類する簡易または複雑なルールを作成します。
  

データの言語ギャップを埋める

どの会社においても、最大の障壁の 1 つは言語の壁です。データが入った雑多な引き出しの中にある意味不明の色褪せたラベルのことを覚えていますか? これは、データガバナンスにおける非常に大きな課題を浮き彫りにしています。Mateo はコードで話をするのに対し、Maria は結果で話をするということです。2 人は、同じデータを確認するときに異なる言葉を話しているのです。カタログを整理するには、内部にある 2 種類のアセットを理解する必要があります。

• テクニカルアセット (Mateo の言語): このアセットは、「方法」と「場所」です。これには、コンピューターシステムで理解される物理的なデータ構造が含まれます。テーブル、列、ビュー、ETL ジョブ、API エンドポイントなどがあります。Mateo にとって、テクニカルアセットには「CUST_LTY_V3_FINAL」という名前が付けられるかもしれません。これは、どのサーバーに置かれているかを知る上では役立ちますが、普通の人にとっては、そのデータが何を表しているかについて何の情報も与えません。
  
• ビジネスアセット (Maria の言語): このアセットは、「何」と「理由」です。人間が作業を完了するのに必要なコンテキストを提供します。これにはデータが実際に表す実社会の概念、ポリシー、メトリクスが含まれ、たとえば、純利益、関係者、領域などがあります。Maria は Mario のように SQL テーブルの名前には関心がありません。関心があるのは、マーケティングキャンペーンの作成に必要な顧客ロイヤルティスコアを見つけることのみです。
  

Maria がロイヤルティメンバーのカタログを検索してもシステムが技術名 (CUST_LTY_V3_FINAL) しか知らない場合、見つけることはできません。

ここで役立つのが CDGC のビジネス用語集です。究極の翻訳辞書として機能し、Mateo のテクニカルアセットと Maria のビジネスニーズを結び付けます。Maria がビジネス用語を入力すると、カタログで自動的に翻訳されてテクニカルアセットが検索され、必要なものが提示されます。CDGC によって、IT ユーザーとビジネスユーザーがついに同じ言語で話せるようになりました。

データ品質を確保する

データを保有することはすばらしいことですが、正確なデータを保有することが極めて重要です。ビジネス上の意思決定を行うために「ダーティーな」データを使用することは、雑多な引き出しから錆びて使えなくなったバッテリーを取り出すようなものです。まさに必要としているものに見えるかもしれませんが、それでプロジェクトを動かすことはできません。CDGC は、情報の信頼性を測定、監視、向上するための厳格な自動化フレームワークを提供するデータ品質サービスに統合されています。

健全性のルールを定義する

CDGC 内では、データが良質であることをただ期待するだけではなく、データ品質ルールを使用して「良質な」データの具体的な条件を定義します。たとえば、Alpine Group のマーケティングリストが有効であることを確認するために、Mateo はメールアドレス列に「すべてのエントリには @ 記号と有効なドメインの拡張子が含まれる必要がある」というルールを作成します。

ルールが設定されたら、CDGC のエンジンにより (MCC を介して) このチェックが自動的に実行されます。Mateo が作成した特定のルールに従わないデータにはフラグが付きます。顧客 ID 列に空のセルがないか、納入先住所が実際に存在するか、同一人物に重複したレコードがないかなどの確認が行われます。

データのあるべき状態、つまり完全性、信頼性、信用性が確保されているということを確認するために、無数のチェックを行えます。

品質スコアカードを確認する

CDGC の最も魅力的な機能はスコアカードです。携帯電話に入っている健康アプリケーションのように、各データセットに 92% などの健全性スコアを示します。

Alpine Group の財務アナリストである Sunil が四半期末のレポートを実行しようとしているとします。カタログ内に四半期売上テーブルを見つけましたが、 データをエクスポートする前に、重要データの品質スコアが 65% であることに気づきます。

そこでスコアをクリックしたところ、税額列の 35% が漏れていることがわかりました。最終レポートを生成する前に気づくことができたため、指定されているデータスチュワードにソースシステムを修正するように知らせることができました。ガバナンスにより、Sunil と最高財務責任者が間違った数字を取締役会に提示する事態が回避できました。

基盤を確保する

CDGC では、MCC を使用してディスカバリーを自動化し、ビジネスアセットとテクニカルアセット間の言語ギャップを埋め、データ品質を監視することにより、Alpine Group のデータが検索可能で理解しやすく、信頼できるものであることを保証しています。

ただし、この高速デジタルライブラリを作成した今、最後の重要なステップとして、適切なユーザー (および、適切なユーザーのみ) がアクセスでき、アクセス権限のあるデータのみを表示できるようにすることが必要です。次の単元で、アクセス制御とデータアクセス管理について説明します。

これで、カタログの入力と統制がどのように行われるかがわかりました。次は、承認されたユーザーのみが特定のアセットにアクセスできるように保護する方法を見ていきます。機密データが適切に扱われるようにするにはどうしたらよいでしょうか? 次の単元に進み、データアクセス制御とデータアクセス管理について詳しく学びましょう。