Introducción a las transformaciones de datos por lotes en Data Cloud
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Describir la transformación de datos por lotes y cuándo utilizarla.
- Identificar los diferentes tipos de nodos de transformación de datos.
- Describir cómo crear una transformación de datos por lotes.
Introducción a las transformaciones de datos por lotes
En Data Cloud, los datos llegan a través de una transmisión de datos y residen en un objeto de lago de datos (DLO). Un DLO es un contenedor de almacenamiento para los datos introducidos en Data Cloud. Una transformación de datos le permite acceder a los datos en uno o más DLO y transformarlos a fin de crear su propio conjunto de datos.
Cuándo utilizar una transformación de datos por lotes
A diferencia de una transformación de datos de transmisión, que se ejecuta continuamente, una transformación de datos por lotes se ejecuta de manera programada. Las transformaciones de datos por lotes ofrecen más funciones que las transformaciones de datos de transmisión, que se basan en una declaración SQL. Las transformaciones de datos por lotes ofrecen un editor visual enriquecido. Este editor se utiliza para combinar datos de varios DLO y utilizar funciones para crear campos calculados; además, también se pueden generar datos para varios DLO.
Utilice la transformación de datos por lotes cuando necesite realizar transformaciones de datos complejas o cuando tenga que actualizar datos de manera programada. En una transformación de datos por lotes, puede unir, agregar y adjuntar datos. También puede utilizar fórmulas y filtros.
¿Cómo modifica una transformación de datos por lotes el trabajo?
Mediante el editor visual, puede arrastrar y soltar nodos para crear los datos que necesite. Un nodo representa cada paso del proceso. Los nodos representan los datos de origen y de destino y las operaciones que se realizan en esos datos.
Cuando crea una transformación de datos por lotes, puede utilizar diferentes tipos de nodos a fin de extraer los datos exactos que necesita. Estos son los diferentes tipos de nodos que puede utilizar y su función.
Tipo de nodo |
Función |
|---|---|
Agregar |
Acumula datos para presentar una mayor granularidad utilizando estas funciones: Average, Count, Maximum, Minimum, Stddevp, Stddev, Sum, Unique, Varp, and Var (Media, Recuento, Máximo, Mínimo, Desvestp, Desvest, Suma, Exclusivo, Varp y Var) |
Adjuntar |
Combina filas de varios conjuntos de datos. |
Filtrar |
Elimina las filas que no necesita en sus datos de destino. |
Entrada |
Contiene datos de origen en un DLO. |
Unir |
Une dos nodos de entrada mediante una búsqueda o unión. Cada nodo de entrada debe tener un campo clave. Por ejemplo, el nodo de entrada de los datos del cliente y el nodo de ventas de tickets tienen un campo de Id. de cliente. |
Resultado |
Contiene los datos transformados en un DLO. |
Transformar |
Manipula los datos mediante funciones. Con este nodo, puede calcular valores, modificar valores de cadena, dar formato a fechas, modificar atributos de datos, soltar columnas, etc. |
Actualizar |
Cambia valores de columnas con datos procedentes de otro origen de datos cuando coinciden los pares de claves. |
Crear una transformación de datos por lotes
Ahora que ya sabe lo que es una transformación de datos por lotes, veamos cómo funciona en el mundo real. Supongamos que trabaja para una empresa de eventos deportivos que vende entradas para partidos. La empresa también vende mercancía para cada partido. Quiere crear una lista de clientes VIP basada en las compras de mercancía y de entradas de los clientes.
Antes de comenzar a crear una transformación, cree un DLO que contenga los datos transformados. El DLO de destino en esta transformación se denomina Clientes VIP, y tiene una categoría de perfil puesto que los datos son una lista de clientes. Aunque el DLO se llame Clientes VIP, le dimos el nombre más descriptivo posible (Actualizar DLO de clientes VIP) en la transformación.
- Ahora, ya está listo para crear la transformación de datos. Cuando selecciona Transformación de datos por lotes, se abre un lienzo en blanco. Comience agregando su primera fuente de datos: DLO Clientes (perfil).
- Ahora que ya tiene los datos del cliente, agregue dos nodos de unión: uno para el DLO Compra de mercancía y otro para el DLO Compra de entradas. Ambos DLO contienen datos de implicación y están relacionados con el Id. de cliente. El resultado es un conjunto de datos no normalizado que contiene clientes y sus datos de compra de entradas y mercancía correspondientes.
- Agregue un nodo de transformación para identificar clientes VIP. Este nodo realiza una serie de operaciones: Calcula el valor vitalicio del cliente agregando la cantidad de ventas de tickets y la cantidad de mercancía, suelta las columnas que no son necesarias, calcula el valor promedio vitalicio del cliente e identifica si el cliente es VIP.
- Agregue un nodo de filtro a fin de extraer los clientes VIP.
- Agregue un nodo de transformación para descartar las columnas que no necesita en el conjunto de datos final.
- Agregue un nodo de salida para albergar los datos transformados. El nodo de salida es el DLO de destino que creó al comienzo del proceso.
- Guarde y ejecute la transformación.
Vista previa de los resultados
Una vez que se haya completado la transformación correctamente, vaya al Explorador de datos para abrir el DLO Clientes VIP e inspeccione los datos.
