Introdução às transformações de dados de streaming no Data Cloud

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

• Descrever o que é uma transformação de dados de streaming e seus principais casos de uso.
  
• Criar uma transformação de dados de streaming no Data Cloud.
  

Neste módulo, supomos que você seja um administrador do Data Cloud com as permissões necessárias para criar transformações de dados de streaming.

O que é uma transformação de dados de streaming?

Uma transformação de dados de streaming permite limpar e enriquecer seus dados quase em tempo real à medida que eles entram no sistema. Para modificar quantidades selecionadas de dados em um intervalo de tempo programado, use uma transformação em lote.

Por exemplo, uma transformação de dados de streaming é ideal para detectar fraudes com cartões de crédito. Com a agregação de dados provenientes de um grande número de sistemas de processamento, à medida que eles são ingeridos, e a normalização para um formato padrão, é possível identificar irregularidades quase em tempo real.

Transformações de dados de streaming nos bastidores

Os novos registros são ingeridos e imediatamente transformados e anexados ao objeto de saída.

Uma transformação de dados de streaming lê registros de um objeto de data lake (DLO) de origem e executa uma consulta SQL que modifica os dados de entrada. Em seguida, ela mapeia o objeto de data lake de destino para o modelo de dados do Data Cloud em um objeto de modelo de dados (DMO).

Criar uma transformação de dados de streaming

1. No Data Cloud, clique na guia Data Transforms (Transformações de dados).
   
2. Clique em New (Novo).
   
3. Escolha Streaming Data Transform (Transformação de dados de streaming).
   

Conclua as telas de configuração restantes que incluem nomear sua transformação de dados de streaming, escolher um DLO de destino, escrever uma consulta SQL e mapear.

Exemplo: Normalizar contatos de telefone

Você pode usar uma transformação de dados de streaming na normalização. A funcionalidade padrão do Data Cloud não armazena vários números de telefone de um contato. O DLO Contact_core é mapeado diretamente para o DMO Contact Point Phone (Telefone do ponto de contato) e apenas um ponto de contato pode ser mapeado.

Nos sistemas externos, temos atualmente:

No entanto, os representantes de suporte ao cliente precisam de acesso quase em tempo real a todos os números de telefone de um contato. Para disponibilizar os três tipos, podemos usar uma transformação de dados de streaming para normalizar os contatos de telefone.

Para mapear vários pontos de contato para Contact Point (Ponto de contato), use uma transformação SQL com o operador UNION.

SELECT CONCAT(Contact_core.CustomerId, "_Mobile") as PhoneId,
    Contact_core.CustomerId as CustomerId,
    Contact_core.MobilePhone as PhoneNumber,
    "Mobile" as PhoneType
FROM Contact_core
WHERE ISNOTNULL(Contact_core.MobilePhone) AND Contact_core.MobilePhone <> ""
UNION
SELECT CONCAT(Contact_core.CustomerId, "_Home") as PhoneId,
    Contact_core.CustomerId as CustomerId, Contact_core.HomePhone as PhoneNumber,
    "Home" as PhoneType
FROM Contact_core
WHERE ISNOTNULL(Contact_core.HomePhone) AND Contact_core.HomePhone <> ""
UNION
SELECT CONCAT(Contact_core.CustomerId, "_Work") as PhoneId,
    Contact_core.CustomerId as CustomerId,
    Contact_core.WorkPhone as PhoneNumber,
    "Work" as PhoneType
FROM Contact_core
WHERE ISNOTNULL(Contact_core.WorkPhone) AND Contact_core.WorkPhone <> ""

Após a execução, o DLO de destino Phone Numbers (Números de telefone) conterá registros para cada tipo de número de telefone. Em seguida, você já poderá mapear o DLO de destino Phone Numbers (Números de telefone) para o DMO Contact Point Phone (Telefone do ponto de contato). O DMO Contact Point Phone (Telefone do ponto de contato) contém todos os três tipos de números de telefone de cada cliente. Melhor ainda, os dados ficam disponíveis para ferramentas downstream que consomem o objeto do modelo de dados, como insights calculados, resolução de identidade e segmentação!

Monitorar o status

Para monitorar o status de uma transformação de dados de streaming, analise as métricas de processamento.

1. Na guia Data Transforms (Transformações de dados), clique no nome da transformação de dados de streaming.
   
2. Clique em Refresh History (Atualizar histórico) para visualizar o número de registros processados, com falha e removidos.
   

A configuração de uma transformação de dados de streaming no Data Cloud é a primeira etapa da combinação dos dados com uma visão rápida, responsiva e abrangente do seu cliente em tempo real. Depois de mapear o DLO para o DMO, o fluxo de dados transformado está pronto para análise ou processamento downstream.

Recursos

• Ajuda do Salesforce: Normalizar dados com caso de uso de UNION
• Ajuda do Salesforce: Configurar uma transformação de dados de streaming
• Ajuda do Salesforce: Verificar o status de uma transformação de dados de streaming
• Ajuda do Salesforce: Mapeamento de dados