Data Cloud の一括処理データ変換入門
学習の目的
この単元を完了すると、次のことができるようになります。
- 一括処理データ変換とこの機能を使用する状況を説明する。
- データ変換ノードの種別を挙げる。
- 一括処理データ変換の作成方法を説明する。
一括処理データ変換の概要
Data Cloud では、データストリームからデータが取り込まれ、データレークオブジェクト (DLO) に保存されます。DLO は、Data Cloud に取り込まれたデータのストレージコンテナです。データ変換を使用すると、1 つ以上の DLO のデータにアクセスして変換し、独自のデータセットを作成できます。
一括処理データ変換を使用する状況
ストリーミングデータ変換が継続的に実行されるのに対し、一括処理データ変換はスケジュールに従って実行されます。一括処理データ変換には、SQL ステートメントに基づくストリーミングデータ変換よりも多くの機能が用意されています。一括処理データ変換には、リッチなビジュアルエディターがあります。このエディターで複数の DLO のデータを結合したり、関数を使用して計算項目を作成したりするほか、データを複数の DLO に出力することもできます。
一括処理データ変換を使用するのは、複雑なデータ変換を行う必要がある場合や、スケジュールに従ってデータを更新する必要がある場合です。一括処理データ変換では、データを結合、集計、追加できます。また、数式や検索条件を使用することも可能です。
一括処理データ変換のしくみ
ビジュアルエディターを使用してノードをドラッグアンドドロップし、必要なデータを作成します。ノードはプロセスの各ステップを表します。ソースデータや対象データを表すこともあれば、データに対して実行するさまざまな操作を表すこともあります。
一括処理データ変換を作成するときに各種のノードを使用すれば、必要とする正確なデータを抽出できます。以下は、選択可能なノード種別とその機能を示しています。
ノード種別 |
機能 |
|---|---|
集計 |
関数 (Average、Count、Maximum、Minimum、Stddevp、Stddev、Sum、Unique、Varp、Var) を使用して、データを高い粒度に積み上げ集計します。 |
追加 |
複数のデータセットの行を結合します。 |
検索条件 |
対象データの不要な行を削除します。 |
入力 |
DLO にソースデータを保持します。 |
結合 |
ルックアップまたは結合を使用して 2 つの入力ノードを結合します。各入力ノードにキー項目が必要です。たとえば、顧客データ入力ノードとチケット販売ノードのそれぞれに顧客 ID 項目が設定されています。 |
出力 |
DLO に変換済みデータを保持します。 |
変換 |
関数を使用してデータを操作します。このノードを使用して、値の計算、文字列値の変更、日付の書式設定、データ属性の編集、列の削除などを実行できます。 |
更新 |
キーペアが一致したときに、列の値を別のデータソースのデータと交換します。 |
一括処理データ変換を作成する
一括処理データ変換がどのようなものかわかったところで、実際にどのように機能するのか見てみましょう。たとえば、試合のチケットを販売するスポーツイベント企業に勤めているとします。この企業は各試合の商品も販売しています。顧客のチケットや商品の購入に基づいて VIP 顧客のリストを作成したいと考えています。
変換の構築に取りかかる前に、まず変換済みのデータを保持する DLO を作成します。この変換の対象 DLO は「VIP Customers (VIP 顧客)」という名前で、データは顧客のリストであるため「Profile (プロファイル)」というカテゴリがあります。この DLO には「VIP Customers (VIP 顧客)」という名前が付いていますが、変換で「Update VIP Customers DLO (VIP 顧客 DLO を更新)」というわかりやすい名前にしました。
- これで、データ変換を構築する準備が整いました。一括処理データ変換を選択すると、空のキャンバスが開きます。最初に、1 つ目の [Customers DLO (Profile) 顧客 DLO (プロファイル)] データソースを追加します。
- 顧客データができたら、2 つの結合ノードをそれぞれ [Merchandise Purchase DLO (商品購入 DLO)] と [Ticket Purchase DLO (チケット購入 DLO)] に追加します。このどちらの DLO にもエンゲージメントデータが保持され、顧客 ID で関連付けられています。最終的に、顧客と、その関連するチケット購入データと商品購入データを含む非正規化されたデータセットが生成されます。
- VIP 顧客を特定する変換ノードを追加します。このノードは一連の操作を実行します。まずチケットの販売金額と商品金額を合算して顧客生涯価値を算定し、次に不要な列を削除して、平均顧客生涯価値を計算してから、顧客が VIP かどうかを特定します。
- VIP 顧客を抽出する検索条件ノードを追加します。
- 最終的なデータセットに不要な列を削除する変換ノードを追加します。
- 変換済みのデータを保持する出力ノードを追加します。出力ノードは、このプロセスの開始時に作成した対象 DLO です。
- 変換を保存して実行します。
結果をプレビューする
変換が正常に完了したら、[Data Explorer (データエクスプローラー)] に移動し、[VIP Customers (VIP 顧客)] DLO を開いてデータを点検します。
![[VIP Customers (VIP 顧客)] DLO が選択され、その DLO のデータが表示されている [Data Explorer (データエクスプローラー)] ページ。](https://res.cloudinary.com/hy4kyit2a/f_auto,fl_lossy,q_70/learn/modules/batch-data-transforms-in-data-cloud-quick-look/get-started-with-batch-data-transforms-in-data-cloud/images/ja-JP/0dbb170a28eec8a7a3d26e34de22114c_kix.7agh0lpr9ney.png)