A minha ideia é desmistificar esse assunto, afinal, o big data é um dos temas mais falados nos últimos anos no meio da tecnologia. Poucos sabem, mas ele surgiu já há algum tempo, em 1997, através de um artigo escrito por Michael Cox e David Ellsworth chamado Application-Controlled Demand Paging for Out-of-Core Visualization. Mesmo sendo tão popular, muitas pessoas ainda têm dificuldades em entender o que é e como trabalhar com big data.
No final, revelo algumas ideias, que podem mudar o jeito de fazer negócios em algumas empresas.
Por que big data?
A quantidade de dados no mundo cresce todos os dias, de maneira surpreendente. Quanto mais usuários, mais informações trafegam pela web e mais dados são gerados a todo momento. Imagine que, segundo a Cisco, em 2023 serão 5,3 bilhões de usuários gerando dados diariamente.
Sem o tratamento adequado, eles estão em estado bruto, não lapidados para a utilização. Na maioria das vezes, não existe a consciência do valor deles.
Para ficar fácil de entender, podemos trabalhar com a ideia de que o big data é uma quantidade massiva de dados, gerados através de inputs e comportamentos. Em um nível profissional, seus processos têm como objetivo: tratar, analisar e transformar em informações, estruturadas ou não, para que seja possível gerar inteligência e conhecimento.
As redes sociais, por exemplo, produzem grande quantidade de informações. São cliques, comentários, imagens, curtidas e outros dados que muitas vezes passam despercebidos pelo público.
o que acontece na Internet em 1 minuto (DESJARDINS, 2018). O estudo é de 2018, mas é possível ter uma ideia do volume de dados trafegando pela rede.
Pense na quantidade de dados que você gera todos os dias. Cada e-mail enviado, mensagem no celular, documentos no trabalho, input de informações em redes sociais. É muita informação. Se utilizar um smartwatch (relógios inteligentes) e aplicativos de saúde, aumenta mais ainda no seu big data pessoal.
Há uma grande demanda por análises de dados no mundo, para que sejam aproveitados, afinal, podem ajudar a reduzir custos de serviços e auxiliar o desenvolvimento de novos produtos.
Existem aplicações de big data já comuns no nosso cotidiano:
- Empresas de cartões, bancos e e-commerce que utilizam das tecnologias que compõem o big data para a detecção de fraude;
- Na medicina, sistemas usam informações de pacientes para avaliação de riscos e até para a prevenção de doenças;
- Detecção de atividades incomuns em linhas de produção, entre outros processos industriais que exigem precisão e alta produtividade;
- Identificação facial para procura de foragidos e ilícitos. Locais como aeroportos, estádios, shoppings, entre outras áreas públicas, estão adotando essas tecnologias. Inclusive, existem soluções prontas no mercado para essa utilização, como o Amazon Rekognition;
- Previsões econômicas — uso muito dados de clientes para prever o que irá acontecer nos seus negócios. A combinação de grandes lotes de dados, com algoritmos para o tratamento e processamento, ajuda a encontrar riscos e oportunidades.
Os dados disponíveis nem sempre estão em perfeito estado. No trabalho de tratamento, para prepará-los em uma fase pré-processamento, gasta-se um tempo relevante, por isso, soluções algorítmicas ajudam muito nessa rotina.
Como empresas estão aumentando seu faturamento com big data
Muitas empresas utilizam informações de mercado como base para tomada de decisões estratégicas de campanhas e produtos.
Os dados são guardados em grandes bancos de dados, depois são tratados e ficam disponíveis para a utilização.
Se existirem diversas fontes de dados (CRM, sistemas de e-mail marketing, publicidade, entre outros), certamente isso precisará ser armazenado em algum local e terá um custo, muito embora, ele tenha diminuído ao longo do tempo.
Hoje, existem serviços de nuvem com excelentes capacidades de processamento, onde você paga por pacote ou pela quantidade de dados processados.
A escalabilidade é muito importante para o big data. Geralmente, os algoritmos que fazem o tratamento de dados ficam em ambientes distribuídos, tolerantes a falhas, mas permitindo uma boa entrega das informações.
Os centros de armazenamento usam tecnologias baseadas em clusters de servidores, que têm como objetivo entregar, em larga escala e com alta disponibilidade, serviços de armazenamento. Assim, sua empresa não precisa se preocupar com gastos próprios de infraestrutura, terceirizando esse serviço.
Há a preocupação, também, em manter a performance, segurança, privacidade e a gestão de dados.
Oportunidades para os negócios
O big data analytics é um trabalho multidisciplinar que irá envolver todas as áreas da empresa que geram e consomem dados.
Existem muitas oportunidades, quando se trata de big data. O fato é que muitas empresas ainda não sabem como trabalhar com isso, possuem dificuldades e desconhecem o dinheiro que estão perdendo.
Eu vou traçar aqui um recorte de possibilidades para a análise da gestão de tráfego de uma empresa. E, sim, isso pode aumentar bastante a sua lucratividade.
- Caso 1: empresa possui grandes campanhas de publicidade on-line. Elas recebem seus leads pelo site e analisam os dados através de diferentes óticas em áreas distintas com dados e gráficos gerados através de planilhas. Já vivenciei casos de empresas com anos de dados guardados em seus sistemas. O que pode ser feito aqui para reunir e analisar esses dados?
Eles podem ser guardados em um banco de dados. Serão tratados, classificados e organizados. Posteriormente, serão enviados para algum sistema de visualização, como o PowerBI ou Looker Studio e combinados em análises gráficas.
- Caso 2: empresa teve crescimento relevante nos últimos anos e precisa prever resultados de vendas para antecipar compra de estoque, de modo que pague mais barato, contudo, sem exageros, afinal, estoque é custo.
O analista de dados irá organizar tudo por meio de um grande banco de dados, e utilizar amostras para realizar previsões através de algoritmos “aprendizado de máquina” (machine learning).
- Caso 3: empresa especializada em vendas de serviços precisa diminuir custos com prospecção de clientes. Pode ser realizado o trabalho de classificação de clientes, onde programas vão processar o perfil daqueles que mais compram na empresa. Com o uso de machine learning, a seleção de públicos para exibição de publicidade, locais e horários será segmentada. Com isso, além de economizar na frente de venda, esse trabalho poderá atribuir mais lucro para a empresa.
- Caso 4: empresa especializada em gerar campanhas de publicidade on-line precisa otimizar suas campanhas, de modo que possam ser exibidas para os clientes que possuam maior chance de comprar os produtos que estão sendo divulgados. Os dados serão captados e analisados por algoritmos de machine learning, que irão separar a audiência através de grupos, de modo a entregar para ela os produtos com maior chance de compra, aumentando o interesse dos públicos impactados e, consequentemente, a performance das campanhas e, por fim, a lucratividade do anunciante.
Processo de análise em big data nas empresas
O primeiro passo é entender o negócio e gerar questões que sejam importantes, com base nos problemas que a empresa precisa resolver. Mediante esses problemas é que vamos gerar indicadores, montar uma matriz de controle para, finalmente, pensar em um sistema de coleta e análise de dados.
Quando falo de um sistema, não falo de um software que irá resolver tudo. Pelo contrário, hoje como tudo está muito especializado, talvez seja necessário a utilização de vários componentes que irão compor um sistema, isso que quero dizer. Algo a se considerar é que isso já pode existir pronto no mercado. Por exemplo, no caso 4, onde comentei sobre a hipotética, mas muito comum, situação dos públicos. Existem várias empresas que já fazem esse trabalho e comercializam assinaturas de softwares que você pode plugar em suas campanhas e eles farão esse trabalho de inteligência.
A empresa pode optar por soluções híbridas, com parte do sistema interno e outra parte, externo. Pense que uma empresa de segurança pode contratar os serviços do Amazon Rekognition, por exemplo, para o reconhecimento facial, contudo, ela vai precisar de câmeras, processos, banco de dados, servidores, sistemas de alertas, dentre outros componentes que irão fazer parte de todo o seu sistema híbrido.
A melhor forma de entender as necessidades quanto a dados é conversar com as pessoas. Isso ajudará a você entender duas coisas: o que elas realmente precisam saber e a você não tornar o trabalho maior do que pode ser, tendo que tratar dados irrelevantes para a organização. Por ser big data, não quer dizer que você deva desperdiçar dinheiro com espaço de banco de dados guardando dados irrelevantes.
Qualquer processo de análise deve ser cíclico, tornar-se uma espécie de programa em sua empresa, sendo assim, envolva as áreas necessárias e mostre o resultado desse trabalho.
Artigos relacionados
Google Data Studio: centralizando os dados do seu negócio
Data Warehouse: Cruzamento de Dados e Inteligência
Data Science e aprendizado supervisionado: como realizar análises preditivas para o seu negócio.
