Exemplos históricos e cases de sucesso   

...

Embora seja muito eficiente, e o banco de dados relacional é projetado para armazenar dados estruturados, em Big Data lidamos com dados estruturado, semi e não estruturados.

Exemplo de dados semiestruturados são o XMLS e JSON, onde possuem marcações dos dados, mas não o rigor dos dados relacionais.

Nos dados não estruturados estão os vídeos, imagens e formatos de textos. Por não terem um formato que facilite o seu armazenamento em tabelas eles se tornam complexos para serem processados em ferramentais tradicionais de armazenamento e gerenciamento de dados.

Mesmo com o predomínio dos bancos de dados relacionais, estima-se que somente 20% sejam dados estruturados, e os outro 80%, onde estão?

Esses dados não estruturados precisam de um modelo que ofereça flexibilidade quanto a estrutura, que não exija um esquema rígido previamente definido e que sejam adequados a ambientes distribuídos, dependendo do volume. Esses fatos trouxeram uma variedade de soluções e tecnologias para atender as necessidades específicas de uma aplicação Big Data.

Quanto a variedade também podemos citar a variedade de empresas que utilizam:*No governo: para rastrear os perfis dos eleitores na campanha de Barack Obama.*Setor financeiro: análise de risco e detecção de fraude

*Transporte e automação: monitoramento e tráfego de carga*Varejo: ofertas na análise de vendas e perfil do consumidor*No marketing: análise de redes sociais*Seguros: ofertas de planos baseados no comportamento do segurado.

São poucas as empresas que conseguem criar soluços eficientes usando esses dados, principalmente em relação a integração dos dados.

Por não saber exatamente o valor dessa variedade de dados, , existe muita fonte de dados ignorada. O pensamento que somente os dados transacionais são suficientes para o processo de tomada de decisão ainda existe, porém, essa mudança vem ocorrendo aos poucos.

Velocidade: Além dos desafios impostos pelo volume e variedade dos dados, Big Data também faz referência a outra propriedade: a velocidade com que os dados são coletados, analisados e utilizados.

Imagine um cliente, ao finalizar uma compra, recebendo a recomendação de um produto para incluir no carrinho somente após uma semana?! Dados coletados perdem valor com o decorrer do tempo.

Por exemplo: um relatório a cada 5 minutos sobre os produtos vendidos terá mais efeito do que um relatório a cada semana.

A Amazon, por exemplo, consegue atualizar os valores de seus produtos a cada 10 minutos de acordo com a análise da demanda em tempo real de seus suprimentos.

Empresas que não forem ágeis em seus negócios, terão dificuldade em manterem-se competitivas no mercado.

O importante dos 3vs é o valor que se consegue obter a partir do volume, variedade e velocidade dos dados.

Definição de Big Data pelo Gartner: “Big Data faz referência não somente ao volume, mas também à variedade e à velocidade de dados, necessitando de estratégias inovadoras e rentáveis para a extração de valor dos dados e aumento da percepção”

Alguns pesquisadores adotam os 5Vs, em que são acrescentados os atributos Valor e Veracidade.

Valor: É um atributo que faz referência ao quão valioso um dado pode ser em uma solução. Por exemplo: qual o valor dos dados de mídias sociais para uma solução de Big Data no departamento de marketing de uma empresa?

Veracidade: Está relacionado à confiabilidade dos dados. Pelo fato de o Big Data estar inserido em um contexto de dados em grande volume e variedade, é comum a existência de dados inconsistentes, assim a veracidade refere-se ao quão confiável é um conjunto de dados usado em uma solução de big data.

Dados gerados por humanos

São dados gerados a partir do pensamento de uma pessoa, a propriedade intelectual está integrada ao dado, podemos também entender como sendo os dados que refletem a interação das pessoas no mundo digital.

Grande parte dos dados gerados por seres humanos partem de mídias sociais. Mas também temo avaliações sobre produtos, serviços, blogs e etc.

Temos também os dados dos e-mails, planilhas, slides, documentos de texto e Word, mas poucos se faz para obter valor desses dados.

Dados colaborativos: Wikipédia.

Temos os dados que são gerados por nós, mas que são capturados sem a necessidade de nós informarmos, como a nossa localização, páginas visitadas e etc.

Dados gerados por máquinas

São dados digitais produzidos por processos de computadores, aplicações e outros mecanismos, sem necessitar explicitamente de intervenção humana.

Datacenters geram grandes quantidades de dados, pois possuem logs de seus servidores. Esses logs podem conter URLs visitadas pelos usuários e assim mostrar, por exemplo, quais compras foram efetuadas, quais não foram efetuadas e os motivos.

Os logs também podem identificar padrões de problemas que podem ser usados para evitar futuros problemas.

Temos também os dados gerados por máquinas com o uso de Internet das Coisas (Internet Of Things – IoT) que permitem a comunicação direta entre dispositivos.

Nesse paradigma, não só os computadores fazem parte da infraestrutura global da internet, mas outros objetos que usam a internet e podem gerar, consumir e interagir com outras pessoas, objetos e computadores, tanto no mundo virtual como no mundo real. Temos como exemplos as etiquetas RFID, sensores, atuadores, vestíveis e smartphones.

De acordo com uma projeção da CISCO o número de objetos inseridos no contexto de IoT será em torno de 50 bilhões até o ao de 2020, dada essa quantidade, um relatório da International Data Corporation, IDC, prevê que em 2020, os dados gerados por máquinas representarão 42% de todos os dados existentes.

Embora os dados usados no contexto de IoT sejam valiosos, o processo de abstração, contextualização, análise e gerenciamento desses dados ainda é considerado um grande desafio. Por esse motivo, além de armazenar os dados gerados, é importante armazenar o seu significado, como informações sobre o tempo e espaço