Você tem medo do Big Data ?

Por Alessandro Lemes da Silva

Mais do que uma tendência, o chamado “Big Data” já tornou-se um diferencial de mercado para aqueles que já o utilizam como ferramenta de tomada de decisão e para os que ainda pensam em utilizá-lo.

Mas por que podemos considerar Big Data como um diferencial competitivo ?

Essa resposta por ser obtida analisando a evolução do processo de Business Intelligence, sim, pense que ao logo das últimas décadas as empresas acumularam milhares de dados sobre todas as coisas relativas aos seus negócios e esse dados estão acumulados em diversos ambientes transacionais, diversos Data Warehouses, Data Marts e também muitos volumes de dados não estruturados contidos em planilhas, arquivos de som, imagem e fluindo pelas redes sociais onde as empresas são citadas, fazem campanhas e apresentam seus produtos.

Tendo em mente todo esse “ecossistema” de dados espalhados em diversos organismos e em diversos ambientes é que entendemos que os métodos, técnicas e meios tradicionais não seriam mais suficientes para tratar, enriquecer e extrair informação consistente de todo esse volume de forma rápida e concisa.

Entende agora a necessidade de buscarmos outros meios ? Entende que a competitividade se dá ao passo em que dominamos a informação e extraímos dela o melhor para obtermos respostas às perguntas do negócio e do mercado onde esse negócio está inserido?

O chamado “Big Data” não pode ser visto como um recurso único e estático, mas como um mecanismo composto de diversos recursos e com alta acoplagem e todos esses novos recursos faz desse mecanismo a forma mais adequada para analisas informações nos dias atuais.

Em termos práticos, se a necessidade da sua empresa é conhecer seus clientes de forma abrangente, identificando particularidades comportamentais, aumentando a capacidade de prever compras com base no comportamento e assim oferecer produtos e serviços, temos então a necessidade de análise de grandes volumes de dados, dados esses que originam-se dentro da própria empresa, porém são enriquecidos à partir de birôs externos, informações contidas em redes sociais e em diversos mecanismos que ofereçam condições de melhores a inferência sobre as informações relativas ao clientes e aos que podem vir à ser clientes. As empresas estão cada vez mais capazes de angariar e explorar grandes “insights” sobre suas bases de clientes em uma escala sem precedentes lançando mão dos recursos embarcados do Big Data.

Naturalmente que dado o volume de informações e de todas as novas exigências do mercado, como por exemplo para o segmento financeiro que é regido por organismos normativos de âmbito mundial como a Basiléia, SOX e outros, o volume de dados que obrigatoriamente precisam ser armazenados para atender a exigências regulatórias também é muito grande, da casa de anos e naturalmente que todo esse volume pode ser objeto de análise que aumentariam ainda mais assertividade e o poder preditivo considerando sua vastidão e abrangência.

Como adquirir todo o conhecimento sobre clientes e produtos utilizando o Big Data, não poderíamos utilizar o modelos tradicionais de armazenagem e tratamento de dados?

A resposta é categoricamente não, pois os meios tradicionais de armazenagem e tratamento de dados não são dotados de recursos que proporcionam escalabilidade, alta velocidade e algoritmos estatísticos embarcados para estabelecer a inteligência aplicada ao dado convertendo-o em informação de valor ao negócio.

Dentro de um escopo de analise de dados, o cientista de dados deve ter condições de realizar técnicas especificas que dariam margem ao insight, ou seja, ao encontro de conhecimento e da sabedoria através da investigação de padrões, analise descritivo e preditivo. Como exemplo posso citar o análise de texto ou text miner, além disso, recursos computacionais podem ser empregados de forma direta e on-line para se antever ocorrências de fraudes e modelos preditivos podem analisar a condutada de transações computacionais para se identificar comportamento fraudulentos. Esses mecanismos de analise dependem de grandes volumes para terem bases históricas longas e com isso serem assertivos.

É por esses e outros motivos que um mecanismos de Big Data vem dotado de recursos não encontrados em recursos tradicionais de armazenagem e análises de dados como In-Memory ou In-Database,  noSQL, Paralelismo e uma arquitetura própria que viabilizam o acesso e tratamento de grandes volumes de dados de forma simultânea.

Se você deseja entrar num mundo de novas possibilidade, trazendo maturidade ao seu modelo analítico e diferencial competitivo ao negócio, pense no que o Big Data pode trazer para sua empresa. Considere antes disso a avaliação de uma arquitetura de dados e a integração do seu ferramental analítico e avance com o amadurecimento das informações.