Cloud Data Integration を使用して大量のデータを統合する
学習の目的
この単元を完了すると、次のことができるようになります。
- Cloud Data Integration のコア機能を定義する。
- データ統合をサポートするサービスとコネクタについて学ぶ。
Cloud Data Integration の戦略的な目的
多くの組織において、戦略の強化に必要なデータは分断されたソースに散在しています。Cloud Data Integration (CDI) は、こうしたサイロを統合する橋渡しの役割を果たします。IDMC プラットフォームの厄介な作業を請け負います。
処理可能なスピードよりも速く情報が増えていく現代社会において、CDI を使用すれば膨大な量のデータをクリーンアップして整理する手段を備えることができます。CDI の目的は、さまざまなソースからのデータを一元的な場所に取り込むことです。そうすることで、このデータを使用してレポートを作成し、戦略的な計画を策定できるようになります。
CDI を使用すると、データはデータエンジニアリングに使用できる状態になっています。これは、分析ツールで有用なパターンを見つけることができるようにデータを形成するプロセスです。データ基盤がしっかりしていなければ、多くの場合、煩雑な情報や不完全な情報が使用されることによって AI プロジェクトは失敗します。
コア機能と処理パターン
データを効果的に管理するために、CDI ではビジネスニーズに応じて異なる方法を使用します。このパターンを理解すると、プロジェクトに適切なアプローチを選択するのに役立ちます。CDI ではデータのライフサイクル全体を処理します。使用準備が整っている高品質データが目的の場所で取得できるようになります。
ETL (抽出、変換、読み込み)
ETL (抽出、変換、読み込み) は、従来のデータ移動方法です。まずデータの取り出しを行い (抽出)、次に変更またはクリーンアップを行い (変換)、最後に新しい場所に取り込みます (読み込み)。ETL は、目的の場所に到達する前に慎重にクリーンアップする必要のある小規模なデータセットに適しています。たとえば、財務部門がメインデータベースに送信する前に重複するエントリを経費レポートから削除する必要がある場合、ETL が最適となります。
ELT (抽出、読み込み、変換)
ELT (抽出、読み込み、変換) は、大規模な組織でビッグデータを移動する場合に使用される最新アプローチです。データはまず目的地に移され、その後、Snowflake、Google BigQuery などの強力な最新クラウドデータウェアハウスを使用して変更されます。情報の量が膨大な場合、ELT のほうが ETL よりはるかに高速で処理できます。ELT を使用すると、組織は未加工データを保存して必要な場合にのみ変換できるため、より柔軟に将来のプロジェクトに対応できます。
変更データキャプチャ
すべてのデータを毎日移動する必要はなく、変更したデータのみを移動したい場合があります。変更データキャプチャ (CDC) ではデータベースを監視し、レコードが更新または追加された瞬間にその変更を報告システムに複製します。こうすることにより、ネットワークを低速化することなくデータを最新の状態に保つことができます。これは、手持ちの在庫量をいつでも正確に把握する必要があるオンライン小売業者などの企業にとって極めて重要です。
対応付けと変換
大半のデータは、目的の場所に完全に適合しません。古いデータベースの名前項目が新しいクラウドウェアハウスの要件に一致しないことがあります。CDI では、一致ロジックをドラッグアンドドロップできるビジュアルインターフェースが用意されています。不正なレコードを除外したり、AI のおすすめを使用したりして、データを整理できます。このローコードアプローチにより、コンピューターサイエンスの学位がなくても複雑なデータフローを構築することが可能です。ビジネスアナリストは、最小限のトレーニングでデータの対応付けと変換を行えます。
サポートされているサービスとコネクタについて知る
統合プラットフォームの強さは、その対応範囲によって判断されます。プラットフォームが最も重要なソフトウェアと連携できなければ、橋渡しではなく障害となります。CDI の真の価値は、ほぼすべてのテクノロジーと連携できることにあります。Informatica では、自社向けの汎用アダプターのように機能する何千ものクラウドネイティブなコネクタが用意されています。
コネクタの効果
現代の組織の大半は、自身のローカルサーバー上に一部のデータを維持しながら複数のクラウドプロバイダー (AWS、Azure、Google Cloud など) を使用しています。CDI はそのすべてで同時に機能し、データが 1 つのエコシステムに閉じ込められないようにします。新旧システムのほぼすべてに使用できる事前構築済みコネクタが用意されています。これには、SaaS の大手 (Salesforce、Workday、Adobe Experience Cloud)、クラウドエコシステム (AWS、Azure、Google Cloud)、旧来の企業 (SAP、Oracle、Mainframe) が含まれます。
大規模な取り込みと複製
このサービスでは、膨大な量のデータをすばやく移動します。モノのインターネット (IoT) センサーからデータレイクへ何百万ものファイルの取り込みや、ライブデータのストリーミングを行えます。1 秒あたり数十万件ものレコードを簡単に処理できます。
データの品質とオブザーバビリティ
不正なデータを使用して適切な判断を下すことはできません。CDI には、エラーを自動的に見つけて修正するデータ品質サービスが備わっています。これには、顧客レコードの重複や電話番号の欠落などが含まれます。また、オブザーバビリティ機能によりデータの健全性を監視できます。特定のソースからのデータに突然不整合が生じたり、データが取り込まれなくなったりした場合に、システムからすぐにアラートが通知されます。データのサイレントエラーによってビジネスレポートが台無しになってしまうのを防ぐことができます。
ビジネス上の利点
これまで、2 つのシステムを接続するには何か月にも及ぶカスタムコーディングが必要でした。IDMC コネクタを使用すれば、Informatica によって 2 つのシステムが通信するしくみが管理されます。ベンダーが API を更新すれば、Informatica でコネクタを更新します。これにより、メンテナンスの負荷が減ります。
高度な効率化機能とコスト管理機能
複雑なビジネスコンテキストにおいては、高度な機能によってコストの削減と俊敏性がもたらされます。CDI には、クラウドコストの節約に役立つ FinOps 機能が含まれています。クラウドでは、使用する計算能力に対して支払を行います。データジョブがややこしかったり、非効率だったりすれば、費用は高額になります。CDI には、コストの削減と俊敏性の向上をもたらす次の高度な機能が用意されています。
サーバーレス Spark 処理
Spark は、大きなデータセットの処理に使用される強力なテクノロジーです。ただし、複雑なサーバーの設定と管理が必要であるため、Spark を管理することは困難です。サーバーレス CDI では、Informatica が技術的な設定を行います。チームがジョブを定義したら、完了するための機能がプラットフォームで提供されます。支払うのは、ジョブの実際の実行時間に対する料金のみです。
プッシュダウン最適化
このスマート機能では、Snowflake などのクラウドデータウェアハウスにデータをローカルで処理するよう指示します。これにより、クラウドとサーバーの間で膨大な量のデータが行き来するのを避けることができます。時間を節約でき、データエグレスの料金が減ることでクラウドの請求額も減少します。
AI を利用した生産性
CDI では、CLAIRE によって次の最適な変換が提案されます。システムで顧客データが検出されると、郵送先住所を検証する手順が提案されます。これは、チームがより短時間でより適切かつ正確なデータパイプラインを構築するのに役立ちます。
弾力性、またはオンデマンドスケーリング
ホリデー商戦時期の大手 E コマースサイトを思い浮かべてみてください。通常日よりはるかに多くの量のデータがシステムを移動します。CDI では、急増するデータに対応できるように処理能力をすばやく高め、 混み合う時間帯が過ぎたら元の処理能力に戻します。支払うのは使用した分だけの料金です。
Global Healthcare Network のユースケース
数百もの病院を擁する Global Healthcare Network というプロバイダーが、心臓病のリスクのある患者を予測することで患者の転帰を改善したいと考えていました。
課題: 患者のデータがさまざまなシステムに散在していました。最新のアプリケーション内にあるデータもあれば、1990 年代のレガシーシステム内にあるデータもありました。形式が異なるため、1 つの正確な分析を実行することが困難になっていました。
CDI のソリューション:
- 一括取り込みを使用して、すべての病院システムのデータを Azure の中央データレイクに取り込みました。
- 高度な変換を使用してデータを標準化し、取得元の病院がどこであっても血圧の測定値が同じ意味を持つようにしました。
- データ品質ルールを適用して重複する患者レコードを削除し、各患者で 1 つのゴールデンレコードが保持されるようにしました。
成果: 医師は、1 つのダッシュボードで患者の全履歴を確認できるようになりました。この統合されたクリーンなデータで AI モデルを実行することにより、心臓病の合併症を 15% 低減できました。高リスクの患者を早期に特定することもできるようになりました。
CDI ソリューションを使用すると、組織の散在するデータを一元化された情報源に変えることができます。このクリーンなデータにより、自動化されたビジネスの実行に必要となる正確な予測とリアルタイムの最新情報を生成することが可能になります。