Explorar os tipos de análise de dados

[Raf] Olá. Se você está aqui, provavelmente tem interesse em análise de dados, e isso é ótimo. Então vou começar mostrando a você a proposta de valor da análise de dados.

A primeira coisa a se pensar quando falamos de análise de dados é como usar os dados coletados para produzir informações que serão úteis em necessidades comerciais futuras. Elas são chamadas de insights.

Às vezes, essa jornada de gerar insights com base em dados pode ser longa e complexa, envolvendo o uso de aprendizagem de máquina. Ou às vezes pode ser rápida e simples, quando o conjunto de dados está pronto e você quer apenas fazer análise de dados descritiva. Dito isso, a análise de dados é a ciência de lidar com dados coletados por sistemas de computação a fim de gerar os insights que melhorarão a tomada de decisões com fatos baseados em dados.

Atualmente, a análise de dados é usada amplamente em comércio eletrônico e mídias sociais. Mas o conhecimento pode e deve ser aplicado a segurança da informação, logística, operações de fábrica, Internet das coisas e muito mais.

Existem quatro tipos principais de análise de dados, que, em ordem de complexidade, são listados como descritiva, de diagnóstico, preditiva e prescritiva. Vou falar um pouco de cada uma delas. Vou passar mais tempo falando de análise descritiva porque, neste curso introdutório, é o que veremos mais.

Análise descritiva é o tipo de análise de dados usado principalmente para dar a você informações sobre o que aconteceu. Ela serve para permitir que você use dados coletados por um sistema para ajudar a identificar o que está errado, o que pode ser melhorado ou qual métrica não está informando o que deveria.

Como esse tipo de análise de dados é amplamente usado para resumir grandes conjuntos de dados a fim de descrever resultados para partes interessadas, pense na análise descritiva como algo que apenas relata o que está acontecendo e nada mais. As métricas mais relevantes informadas por esses sistemas são basicamente conhecidas como KPIs, ou indicadores-chave de desempenho.

Identificar o que aconteceu pode ser muito importante em algumas verticais do mercado, e às vezes é o suficiente para satisfazer a necessidade de aprofundar a investigação de um assunto. Vou dar um exemplo de como a análise de dados descritiva pode ser útil em termos de identificar os KPIs corretos para conscientizar as partes interessadas em relação a decisões baseadas em dados para corrigir possíveis problemas.

Imagine um site de comércio eletrônico em que você coleta métricas relativas ao tempo necessário para processar um pagamento. Nesse site, você está usando um gateway de pagamento externo para concluir as compras. Ou seja, sempre que um cliente compra algo no seu site, o cliente é redirecionado para esse gateway de pagamento e você tem a confirmação de que o cliente pagou quando ele faz isso. Um conjunto relevante de KPIs para fazer uma análise descritiva eficaz, nesse caso, seriam métricas relativas ao tempo necessário para concluir a transação, o número de transações concluídas e o número de transações canceladas.

Agora, se você vir um pico no número de transações canceladas e no tempo necessário para concluir uma transação, pode ser uma boa indicação de que essas transações estão sendo canceladas porque demoram muito. Pode ser um bom indicador de que esses KPIs podem estar relacionados, o que ajudaria os administradores de sistemas e proprietários do negócio a solucionar um possível problema que pode estar afetando as vendas.

O mesmo conceito se aplica ao tempo para concluir as transações. Se você tem algo que detalha essa métrica separando cada etapa no período da transação, teria informações ainda mais granulares para encontrar o momento certo de solucionar o problema. A última coisa que você quer é saber de um mau funcionamento do sistema via feeds de mídias sociais ou comentários de clientes. Nesse caso, o monitoramento é essencial, e usamos um conjunto muito simples de métricas para começar a solucionar problemas relacionados a negócios.

Resumindo, a análise de dados descritiva é um conceito que informa a você o que está acontecendo. Você também pode fazer análise de dados descritiva se tiver dados relativos à atividade dos usuários, feeds de mídias sociais, Internet das coisas ou logs de segurança do sistema. Como eu disse, o caso de uso pode variar bastante, mas uma coisa é certa. Depois de saber como fazer análise de dados descritiva, você pode, e deve, usar esse mesmo conhecimento para trabalhar com conjuntos de dados diferentes.

Ótimo, agora temos uma boa base sobre o que é a análise de dados descritiva. E as outras três?

Bem, lembra que em nosso exemplo temos a matriz relativa ao tempo de transação e o número de transações com falha? Nesse caso, você foi o responsável por ter os insights, por ter a ideia de correlacionar essas duas métricas a fim de identificar o problema. O sistema não as conectou e deu a você uma métrica consolidada ou projetada chamada probabilidade de problema com o gateway de pagamento. É muito comum atualmente ter centenas, ou até milhares, dessas métricas nos sistemas. E a análise de diagnóstico ajuda ultrapassando o escopo de apenas informar, mas diagnosticando com maior investigação e correlacionando esses KPIs a fim de dar sugestões sobre onde o problema pode estar. Gosto de falar da análise de diagnóstico como um conjunto de ações que um sistema pode realizar para ajudar as partes interessadas a entender por que algo aconteceu. A palavra a ser lembrada aqui é "por quê".

Nosso terceiro tipo de análise de dados é a análise preditiva. A análise de dados preditiva envolve maior complexidade, pois, como o nome sugere, ela prevê o que provavelmente acontecerá no futuro com base em dados do passado ou com base no cruzamento de dados de vários conjuntos de dados e fontes. Resumindo, ela tenta prever o futuro com base nas ações do passado. O uso de redes neurais, regressão e árvores de decisão é muito comum na análise de diagnóstico e vamos vê-lo em outro curso.

Agora, por último, mas não menos importante: análise prescritiva, que é basicamente uma soma de todas as anteriores. A análise prescritiva pode sugerir às partes interessadas quais são as decisões mais baseadas em dados que precisam ser tomadas com base em eventos e resultados anteriores. A análise prescritiva depende bastante de estratégias de aprendizagem de máquina a fim de encontrar padrões e suas correções correspondentes buscando e cruzando grandes conjuntos de dados.

Independentemente do tipo que você decidir conhecer e aplicar, a análise de dados existe na interseção do uso de tecnologia da informação, estatística e conhecimento de domínios como mídias sociais, negócios ou verticais do setor. Neste curso, vamos nos concentrar em como usar os serviços da AWS para fazer análise descritiva sobre o que está acontecendo em uma conta AWS usando logs de segurança.

Agora que você entendeu os tipos diferentes de análise de dados, vamos continuar a jornada explorando mais alguns exemplos nos quais a análise de dados está presente na sua vida atualmente.