Fala pessoal!

Nesta postagem continuaremos sobre o assunto, A Qualidade de Dados.

1. Exploração de dados

Quer limpar seus dados eficazmente? Comece entendendo o que seus dados já incluem.

Há muitas maneiras de explorar dados, mas alguns ótimos lugares para começar incluem:

Medidas de tendência central (média, mediana e moda) e dispersão (desvio padrão e intervalo) para entender a distribuição dos seus dados.

Verifique se há valores ausentes para identificar lacunas nos dados que possam exigir preenchimento.

Observe a estrutura dos seus dados, incluindo o número de colunas e linhas.

Esta análise estatística descritiva oferece insights sobre a distribuição dos dados e pode destacar possíveis anomalias.

Equipado com esse entendimento dos atributos básicos dos seus dados, você estará mais bem preparado para avançar com processos de limpeza direcionados, garantindo que seus dados sejam precisos e úteis para análise.

2. Tratamento de anomalias: valores ausentes e outliers.

Lidar com anomalias de dados, como valores ausentes e valores discrepantes, é uma habilidade crítica para garantir que seus dados sejam confiáveis. Se não forem verificadas, as anomalias muitas vezes distorcem os conjuntos de dados e levam a conclusões erradas.

Embora as anomalias representem desafios, aprender a identificá-las e corrigi-las levará suas habilidades em dados para o próximo nível. Algumas técnicas principais incluem:

Usando métodos de detecção de anomalias, os quais são testes automatizados que sinalizam pontos de dados que estão fora de um intervalo esperado, para detectar rapidamente possíveis problemas.

Tratamento de dados ausentes por meio de exclusão ou suposições baseadas em outras informações disponíveis.

Aprender essas abordagens não apenas melhorará a qualidade dos seus dados, mas também o tornará um melhor solucionador de problemas e tomador de decisões. As ferramentas são importantes, mas o bom senso é insubstituível.

3. Filtrando dados

A filtragem de dados é uma parte fundamental da limpeza de dados. Ele melhora a qualidade do seu conjunto de dados para que você possa realizar análises direcionadas e precisas.

Mas o que a filtragem realmente envolve? Basicamente, a filtragem consiste em remover ou alterar dados irrelevantes, imprecisos ou formatados incorretamente em seu conjunto de dados. Este processo ajuda a garantir a integridade e a utilidade dos seus dados.

Filtrar os dados desta forma facilita identificar tendências significativas e tirar conclusões confiáveis.

O desenvolvimento de fortes habilidades de filtragem pode realmente aumentar sua produtividade e eficácia em funções focadas em dados. Um analista de dados que consegue filtrar conjuntos de dados com eficiência economizará tempo e reduzirá erros em suas análises e insights. Essa capacidade de trabalhar com dados limpos e de alta qualidade é inestimável para informar decisões de negócios inteligentes.

4. RegEx e manipulação de strings

Você já trabalhou com um conjunto de dados cheio de texto inconsistente? Talvez contivesse números de telefone em formatos diferentes ou endereços de e-mail com erros de digitação. Limpar esse tipo de dados confusos e não estruturados pode ser uma grande dor de cabeça. É aí que entram as expressões regulares (RegEx) e a manipulação de strings.

Em termos simples, as expressões regulares permitem pesquisar padrões específicos no texto. Por exemplo, você poderia escrever um padrão RegEx para localizar todos os números de telefone que seguem o formato (123) 456-7890. A manipulação de strings refere-se a tarefas como remover espaços em branco extras, alterar a caixa das letras ou substituir certos caracteres.

Por que essas habilidades são valiosas?

Digamos que você esteja analisando avaliações de clientes de uma empresa de comércio eletrônico. As resenhas estão cheias de abreviações, erros ortográficos e pontuação inconsistente. Antes de obter insights significativos, você precisa limpar e padronizar todos os dados de texto. Com RegEx e manipulação de strings, você pode remover caracteres especiais, converter tudo para letras minúsculas e substituir abreviações comuns por palavras completas. O que pode levar horas manualmente pode ser feito em segundos com um RegEx bem elaborado.

Essas técnicas tornam-se ainda mais cruciais quando se trabalha com grandes conjuntos de dados. A capacidade de limpar e pré-processar texto com eficiência pode fazer a diferença entre passar dias limpando dados manualmente e passar rapidamente para a análise.

Aprendendo RegEx

Se você é novo em expressões regulares, a sintaxe pode parecer intimidante no início. Quando vi pela primeira vez um padrão RegEx, parecia uma confusão de barras e colchetes que eu realmente não queria aprender. Mas com a prática, começou a fazer sentido. Foi quando encontrei meu primeiro conjunto de dados sujo com mais de 10.000 linhas que realmente apreciei o valor do RegEx - se eu tivesse que lidar manualmente com cada valor de dados inconsistente, levaria semanas!

Tutoriais interativos como Regexr.com são um ótimo lugar para começar. Você pode testar padrões e ver o que eles correspondem em tempo real. Para prática extra que incorpora um pouco de diversão, experimente Regex Golf, um jogo onde você compete para escrever o RegEx mais conciso para um determinado problema.

Com prática, você conseguirá limpar e organizar dados de texto com confiança. À medida que você avança em sua carreira em dados, essas habilidades o ajudarão a trabalhar com mais eficiência e a enfrentar uma gama mais ampla de desafios de dados.

Contínua no próximo Post.

 Caso você não tenha se inscrito ainda, na área de eventos para receber todas as comunicações de eventos, aqui segue o link: https://trailblazercommunitygroups.com/salesforce-architect-group-curitiba-brazil/ 

Faca parte de nossa comunidade e convide mais Trailblazers para juntar-se a gente nesta jornada de aprendizado e troca de experiências e informações.

Valeuuuuuu!!!!

@* Success - Português * @* Trailhead Official * @Comunidade Salesforce Brasil @Salesforce Fundamentals Brazil @Salesforce.org Brasil @Treinamento Salesforce.com no Brasil @SFDC Architect @Architect Journeys @Salesforce Architect @Developer Group - CGL, Campinas, BR @Developer Group, Varginha, BR @Developer Group, Salvador, BR