Introdução a transformações de dados em lote no Data 360
Objetivos de aprendizagem
Após concluir esta unidade, você estará apto a:
- Descrever transformações de dados em lote e quando usá-las.
- Identificar os tipos diferentes de nós de transformação de dados.
- Descrever como criar uma transformação de dados em lote.
Apresentando transformações de dados em lote
No Data 360, os dados são apresentados por meio de um fluxo de dados e residem em um objeto de data lake (DLO). DLO é o contêiner de armazenamento para dados ingeridos no Data 360. Uma transformação de dados permite acessar dados em um ou mais DLOs e transformá-los para criar o seu próprio conjunto de dados. Uma transformação de dados também pode ser usada para transformar dados que foram mapeados para um objeto de modelo de dados (DMO). Um DMO é uma representação estruturada de entidades de dados e seus relacionamentos dentro do Salesforce.
Quando usar uma transformação de dados em lote
Ao contrário de uma transformação de dados de streaming, que é executada continuamente, uma transformação de dados em lote é executada de forma programada. As transformações de dados em lote também oferecem mais funcionalidade do que as transformações de dados de streaming, que são baseadas em uma instrução SQL. As transformações de dados em lote têm um editor visual poderoso. Você usa esse editor para combinar dados de vários DLOs, criar campos calculados com funções e enviar dados para vários DLOs.
Use uma transformação de dados em lote quando precisar de fazer transformações de dados complexas ou que os dados sejam atualizados de forma programada. Em uma transformação de dados em lote, você pode juntar, agregar e anexar dados. Você também pode usar fórmulas e filtros.
Veja algumas situações nas quais uma transformação de dados em lote seria útil:
-
Calcular métricas para painéis: transforme os dados brutos ingeridos em KPIs utilizáveis, como agregados e fórmulas calculadas, como taxa de ganho ou valor de vida útil do cliente.
-
Padronizar valores: consolide valores inconsistentes ingeridos, como “Salesforce”, “salesforce.com” ou “SFDC”, em um único valor uniforme.
-
Aprimorar com outras fontes de dados: combine dados de várias fontes, como CRM, folha de pagamento, logs de uso e registros de clientes, para usar em serviços do Data 360, como resolução de identidade e insights calculados.
Como funciona uma transformação de dados em lote?
Usando o editor visual, você arrasta e solta nós para criar os dados que precisa. Um nó representa cada etapa no processo. Os nós representam os dados de origem e de destino, assim como as várias operações que você realiza nesses dados.
Ao criar uma transformação de dados em lote, você pode usar tipos de nós diferentes para gerar exatamente os dados necessários. Aqui estão os tipos de nós diferentes que você pode escolher e o que eles fazem.
Tipo de nó |
O que faz |
|---|---|
Agregado |
Totaliza dados para uma granularidade maior usando as seguintes funções: Média, Contagem, Máximo, Mínimo, Stddevp, Stddev, Soma, Único, Varp e Var. |
Funções da IA |
Usa modelos de IA do Einstein Studio para fazer previsões. |
Anexo |
Combina linhas de vários conjuntos de dados. |
Filtro |
Remove linhas que não são necessárias em seus dados de destino. |
Dados |
Contém dados de origem em um DLO ou DMO. |
Junção |
Junta duas ramificações de entrada por meio de uma pesquisa ou junção. Cada ramificação de entrada deve fornecer um campo-chave. Por exemplo, o nó de entrada de dados de clientes e o nó de venda de ingressos têm ambos um campo de ID de cliente. |
Saída |
Contém os dados transformados em um DLO ou DMO. |
Transformação |
Manipula dados usando funções. Com este nó, você pode calcular valores, modificar valores de sequência de caracteres, formatar datas, particionar valores, soltar colunas, processar valores JSON, entre outras coisas. |
Atualização |
Troca valores de colunas com dados de outra origem de dados quando existe correspondência entre pares de chaves. |
Desafio prático: Criar uma transformação de dados em lote
Etapa 1: crie seu Playground
Para concluir este módulo, você precisa de um Playground personalizado especial de tempo limitado que contenha o Data 360 e nossos dados de amostra.
- Clique em Create Playground (Criar Playground).
- Sua nova organização é automaticamente associada à sua conta do Trailhead!
- Anote a data de expiração de sua organização e conclua este emblema antes dessa data.
Etapa 2: crie seus fluxos de dados
Antes de poder importar dados de contas e oportunidades, você precisa configurá-los como fontes de dados no Data 360.
- No Data Cloud, acesse a guia Data Streams (Fluxos de dados) e clique em New (Novo).
- Clique em Salesforce CRM, em Connected Sources (Fontes conectadas), e clique em Next (Avançar).
- Observe que a organização de teste do Salesforce foi previamente selecionada. Em View Bundles (Visualizar pacotes), escolha o pacote de dados Sales (Vendas) e clique em Next (Avançar). O pacote tem todos os fluxos de dados necessários para criar sua transformação de dados em lote.
- Deixe todos os campos padrão selecionados e clique em Next (Avançar).
- Na próxima tela, clique em Deploy (Implantar). Se ocorrer um erro ou a criação do fluxo de dados demorar muito, cancele a ação e tente novamente.
Etapa 3: crie sua transformação de dados em lote
Agora, vamos combinar e filtrar os dados para criar nosso novo DLO que nos mostra o total de grandes vendas por setor.
- Crie uma nova transformação de dados em lote usando objetos de data lake.
- Clique na guia Data Transforms (Transformações de dados).
- Clique em New Transform (Nova transformação).
- Selecione Batch Data Transforms (Transformações de dados em lote) e clique em Next (Avançar).
- Selecione Data Lake Objects (Objetos de data lake) e clique em Next (Avançar). O Criador de transformações é exibido.
- Clique na guia Data Transforms (Transformações de dados).
- Adicione o objeto Opportunity (Oportunidade) como dados de entrada.
- Clique em Adicionar dados de entrada.
- Quando a tabela Add Input Data (Adicionar dados de entrada) for exibida, selecione Opportunity_Home.
- Clique em Adicionar dados de entrada.
- Desmarque a caixa ao lado de Name (Nome). Selecione os seguintes campos e clique em Next (Avançar):
- KQ_Id
- KQ_AccountId
- KQ_OwnerId
- Conta
- Proprietário
- Amount (Valor)
- Nome
- LeadSource
- KQ_Id
- Opportunity_Home agora aparece como um nó no Criador de transformações.
- Adicione um filtro ao nó Opportunity (Oportunidade) chamado “Filter >30,000” (Filtro >30.000).
- Selecione o sinal de adição ao lado no nó Opportunity (Oportunidade).
- Na lista de opções, selecione Filter (Filtro).
- Selecione o ícone de lápis ao lado do título Filter 0 (Filtro 0).
- Dê o nome
Filter >30,000(Filtro >30.000) ao seu nó.
- Clique em Apply (Aplicar).
- Selecione o sinal de adição ao lado no nó Opportunity (Oportunidade).
- Configure o filtro para só exibir negócios acima de US$30.000.
- Na tabela de visualização de dados, clique no sinal de adição retangular em Filters (Filtros).
- Selecione Amount (Valor) no modal exibido.
- Em Operador, escolha maior que.
- Em Numeric value (Valor numérico), digite
30000. Não inclua pontuação ou moeda.
- Clique em Done (Concluído) e em Apply (Aplicar).
- Filter >30,000 (Filtro >30.000) agora aparece como um nó no Criador de transformações.
- Na tabela de visualização de dados, clique no sinal de adição retangular em Filters (Filtros).
- Faça a junção do objeto Account (Conta) com o nó Filter >30,000 (Filtro >30.000).
- Clique no sinal de adição no nó Filter >30,000 (Filtro >30.000).
- Na lista de opções, selecione Join (Junção).
- Na tabela Select Input Data to Join (Selecionar dados de entrada para junção), selecione Account_Home.
- Clique no sinal de adição no nó Filter >30,000 (Filtro >30.000).
- Desmarque a caixa ao lado de Name (Nome). Selecione os seguintes campos e clique em Next (Avançar).
- KQ_Id
- Id
- Nome
- Setor
- KQ_Id
- Use um nó Join (Junção) para agrupar dados de Account (Conta) e Opportunity (Oportunidade).
- No nó Account_Home, selecione Inner Join (Junção interna).
- Em Join Keys (Chaves de junção), clique no retângulo em Filter >30,000 (Filtro >30.000) e Account_Home.
- No modal Select Join Keys (Selecionar chaves de junção), para Filter (Filtro) >30.000, selecione Account (Conta).
- Em Account_Home, selecione ID.
- Clique em Adicionar.
- Dê o nome
Get Accounts Info(Obter informações da conta) ao nó Join (Junção)
- Clique em Apply (Aplicar).
- No nó Account_Home, selecione Inner Join (Junção interna).
- Use um nó Aggregate (Agregar) para combinar valores de grandes negócios do mesmo setor.
- Clique no sinal de adição no nó Get Accounts Info (Obter informações da conta).
- Selecione Aggregate (Agregar).
- Na tabela de visualização de dados, clique no sinal de adição em Aggregates (Agregados).
- Selecione Sum (Soma) e Amount (Valor).
- Clique em Concluído.
- Na tabela de visualização de dados, clique no sinal de adição em Group Rows (Agrupar linhas).
- No modal, selecione Industry (Setor) e clique em Apply (Aplicar).
- Dê o nome
Total Sales by Industry(Vendas totais por setor) ao nó Aggregate (Agregar).
- Clique no sinal de adição no nó Get Accounts Info (Obter informações da conta).
- Crie um novo DLO que usa essa transformações de dados em lote para rastrear vendas grandes por setor.
- Clique no sinal de adição no nó Total Sales by Industry (Vendas totais por setor).
- Na lista de opções, selecione Output (Saída).
- Mantenha marcado o modo Create New and Replace (Criar novo e substituir).
- Em Object Name (Nome do objeto), digite
Large Sales by Industry(Vendas grandes por setor)
- Na categoria Object (Objeto), selecione Other (Outro).
- Em Primary Key (Chave primária), selecione Account_Home.Industry__c.
- Clique em Apply (Aplicar).
- Dê o nome
Large Sales by Industry(Vendas grandes por setor) ao nó Output (Saída).
- Na tabela de visualização de dados, você já pode ver quais setores geram seus maiores negócios.
- Clique no sinal de adição no nó Total Sales by Industry (Vendas totais por setor).
- No Criador de transformações, clique em Save (Salvar).
- Dê o nome
Large Sales by Industry(Vendas grandes por setor) à transformação e clique em Save (Salvar).
- Execute a transformação.
- Clique em Back to Data Transforms (Voltar para Transformações de dados).
- Na tabela, encontre a transformação que você acabou de criar chamada “Large Sales by Industry” (Vendas grandes por setor).
- Clique na seta para baixo no final da linha e selecione Run Now (Executar agora).
- Clique em Run (Executar) no modal exibido.
- Aguarde a conclusão da transformação. Isso levará alguns minutos.
- Clique em Back to Data Transforms (Voltar para Transformações de dados).

Resultados da visualização
Depois de concluir a transformação com sucesso, acesse o Explorador de dados para abrir o DLO de Large Sales by Industry (Vendas grandes por setor) e inspecionar os dados.
Verificar desafio
Está na hora de verifique seu trabalho. Verifique se seguiu todas as etapas anteriores e clique em Check Challenge to Earn 500 Points (Verificar desafio para ganhar 500 pontos) antes de prosseguir para a próxima unidade.
