AI を活用したデータ管理の基礎を理解する
学習の目的
この単元を完了すると、次のことができるようになります。
- AI を活用したデータ管理が組織にとって重要な理由を説明する。
- CLAIRE が IDMC の主要なソリューションをどのようにサポートするかを説明する。
AI を活用したデータ管理が重要な理由
組織では、顧客レコードや売上トランザクションからロイヤルティプログラムやクラウドデータウェアハウスに至るまで、日々生成されるデータは増加の一途をたどっています。こうしたデータをすべて正確な状態に保ち、相互に関連付けて、いつでも利用できるようにするには、多大な労力が必要です。手作業に頼っていると、データ管理に時間がかかるうえ、コストのかかるミスも発生しやすくなります。
そこで、AI の力を借りることにします。AI を活用したデータ管理なら、手作業では到底実現できないスピードと規模で、データを自動的に検出して関連付け、クレンジングできます。この単元では、Informatica の AI エンジンである CLAIRE が、データ管理の難しい作業をどのように代行するかを学びます。
AI のない 1 日
午前 9:00 です。マーケティング部長から、今日開始するタイムセールに向けて「高価値のお客様」に関するレポートを作成するように依頼されます。データエンジニアリングチームが作業を開始します。AI がないと、ここからの作業が複雑になります。
-
データディスカバリーの問題: データスチュワードが、3 つのクラウドデータウェアハウスにある数千ものテーブルを手作業で検索します。メタデータが古いため、どの列に Email (メール) や Customer ID (顧客 ID) のデータがあるのかを推測しなければなりません。
-
データインテグレーションの問題: 項目を自動的に対応付ける機能がないため、チームは何時間もかけて複雑な SQL 結合を記述し、売上データベースの Customer ID (顧客 ID) とロイヤルティアプリケーションの User_UUID を関連付けます。さらには、作業の終盤になって形式が一致していないことに気付くこともあります。
-
データ品質の問題: プロファイリング用のデータを手作業でサンプリングしたため、City (市区町村) 項目の値の 15% が「N/A」であることを見落としてしまいます。 レポートは重複データだらけのまま、24 時間遅れで提出されます。
結果: タイムセールの開始が遅れます。マーケティング予算を「高価値のお客様」に投じたつもりが、ふたを開けてみれば、同じ人物の重複レコードに何度も費やしていたのです。
これらの問題のいずれも、必要なことは同じだと示唆しています。システムには、メタデータを自動的にクロールしてタグ付けすること、異なる名前の項目が同じデータを表していることを認識すること、そしてすべてのレコードをリアルタイムでスキャンし、データ品質の問題をビジネスに影響が及ぶ前に検出することが求められます。まさに、こうした作業を担うのが AI です。
CLAIRE の紹介
CLAIRE は、Informatica Intelligent Data Management Cloud (IDMC) を支える AI エンジンです。組織の技術データとビジネスデータをスキャンし、カタログ化、対応付け、クレンジングといった反復作業を自動化します。
CLAIRE は、従来の手法や手作業では処理しきれない、現代の膨大で複雑なデータにも難なく対応できます。定型作業を自動化し、データガバナンスを徹底するとともに、誰もがデータにアクセスして活用できるようにする「データの民主化」を進めることで、組織に大きな価値がもたらされます。
データの民主化とは、技術に詳しくない一般ユーザーでもデジタル情報を利用できるようにする継続的な取り組みを意味します。この取り組みによって、IT 部門やデータサイエンティストに常に頼らなくても、誰もがデータを見つけ、分析し、意思決定に活用できるようになります。
タイムセールに戻る
データエンジニアリングチームが CLAIRE を利用できるようになると、結果は一変します。
高価値のお客様のレコードを数秒で見つけられます。IDMC が項目の対応付けを自動的に作成します。重複レコードの削除と機密データのタグ付けも、手作業なしで行われます。
午前 10:30 には、マーケティング部長の手元に、クリーンで正確かつ安全なリストが届きます。その結果、タイムセールは予定どおり開始されました。
CLAIRE による IDMC ソリューションのサポート
IDMC では、CLAIRE によってあらゆるデータソリューションをよりすばやく、よりスマートに活用できます。CLAIRE は、IDMC の主要なソリューションを次のようにサポートします。
-
データインテグレーション - 開発アシスタント: データフローを平易な言葉で説明すると、CLAIRE が対応付けと SQL ロジックを生成します。さらに、変換を推奨し、対応付けを完成させ、テンプレートを提案して、パフォーマンスの問題を指摘します。
-
データガバナンスとカタログ - メタデータの司書: CLAIRE がデータをスキャンし、個人識別情報 (PII) などの機密情報を自動的に特定します。ビジネス用語を技術データアセットに関連付け、データ品質ルールを重要なデータ要素に結び付け、データ系統全体を対応付けます。これにより、各レコードがどこから来て、どこへ移動するのかを把握できます。
-
データ品質 - データの健全性の監視: CLAIRE がすべてのデータをスキャンし、異常、不整合、外れ値を検出します。プロファイリング結果からデータ品質の問題を自動的に見つけ、チームが見落とす可能性のある問題を指摘します。
-
マスターデータ管理 - ID の解決: CLAIRE は、ID が異なっていても「Jon Doe」と「Jonathan Doe」が同一人物である可能性が高いと認識します。重複レコードを 1 つの信頼できるゴールデンレコードに統合するため、同じクライアントのレコードが複数作成されるのを防げます。
-
CLAIRE GPT — 対話型インターフェース: 開発者だけでなく、チームの誰もが自然言語でデータを操作できます。「顧客離脱に関する高品質なデータセットを教えて」と尋ねると、CLAIRE GPT が該当するデータセットを見つけ、品質スコアを説明し、ほかに誰が利用しているかも示します。自然言語を使って、データパイプラインやデータ品質ルールを作成することもできます。
次の単元では、CLAIRE GPT と対話しながら、データを見つけ、品質を評価し、パイプラインを構築する方法を学びます。