Gerencia de Projetos de Big Data

...

O quarto aspecto diz respeito a questão do tempo versus a qualidade do trabalho. Os dados são produzidos e atualizados em alta velocidade. Portanto, o tempo é um fator importante para o sucesso do projeto. Trabalhar com dados ultrapassados pode não gerar nenhum valor. Porém, a qualidade do trabalho não pode ser afetado, pois um resultado de má qualidade também não gera valor para a empresa. Portanto, essa relação entre obter um resultado de qualidade em um tempo ágil precisa ser gerenciada com cuidado.

O quinto aspecto trata dos recursos humanos. É difícil encontrar profissionais capacitados. Para obter um bom resultado, o projeto precisa de gerentes capacitados, com experiências de negócios alem da expertise técnica e capacidade de coordenar uma equipe hetetogênea. Também é necessário uma equipe de desenvolvedores e analistas capazes de identificar padrões, realizar modelagem estatística e elaborar modelos capazes de analisar os dados brutos e obter resultados, apontando tendencias e previsões.

- Levantamento de requisitos

Os projetos de Big Data, assim como tantos outros, precisam de um gerenciamento eficaz para garantir um bom resultado. Porém, os requisitos que devem ser observados durante a gerência do projeto diferem das etapas equivalentes em projetos de software convencionais. Uma serie de propriedades únicas de projetos de analise de dados devem ser estudadas para a execução adequada. Principalmente porque os resultados obtidos podem influenciar na tomada de uma decisão.

Segundo o estudo realizado pelo grupo aberto de trabalho do NIST (National institute of standard and technology) a obtenção de requisitos pode ser separada em duas etapas: extração de requisitos específicos de cada aplicação e agregação dos requisitos colhidos na primeira etapa e criação da lista de requisitos generalizada independente de fornecedor de solução e tecnologia. Durante as duas etapas, algumas características inerentes a projetos de analise big data que merecem atenção, são:

- Fonte de dados

Os dados possuem características singulares. O volume produzido em um dia na grande rede passa da casa dos petabytes. Com tanto conteúdo é difícil imaginar como transformar esses dados em algo útil. Por isso, é necessário identificar informações sobre volume, taxa de crescimento, localização e formato. Os dados podem estar distribuídos geograficamente, ou ainda podem possuir diferentes regras de acesso.

É fundamental determinar a forma de coleta de dados, sistemas de tempo real (real-time), próximo do tempo real (near real-time) ou processamento em lote visto que a relação do volume com a forma de coleta é preponderante para determinar a capacidade de processamento. O formato do dado influencia nas etapas posteriores, dados não estruturados exigem mais recursos nas etapas futuras.

Outro aspecto que também deve ser levado em consideração é a velocidade a qual os dados são produzidas. Trabalhar com dados ultrapassados podem decretar o fracasso de um projeto. Portanto, a base precisa ser constantemente atualizada para obter análises recentes.

- Gerenciamento do ciclo de vida

Consiste na especificação de como manter e preparar os dados para a etapa de transformação. São considerados o controle de acesso, conversão entre os diversos formatos das fontes de dados, controle de qualidade e pré-processamento. O último citado pode tornar-se uma etapa complexa de acordo com o volume e formato dos dados.

- Transformação de dados

Existem conteúdos dos mais variados tipos, como por exemplo: fotos, vídeos, textos e sensores. Esses dados heterogêneos acabam dificultando a análise do material. Por isso que os métodos tradicionais estatísticos não são eficazes para análise de Big Data.

Essa etapa de transformação é responsável pela fusão das diversas fontes de dados, transformação para um formato que seja possível a realização de consultas. Além disso, é importante fazer a validação e desduplicação dos dados. Às vezes, porções diferentes de dados foram oriundas de uma só fonte.

Portanto, o especialista em Big Data precisa elaborar soluções e métricas próprias do negócio para conseguir filtrar, limpar e padronizar os dados para colocá-los em uma mesma base. Somente após o tratamento das informações é que será possível estabelecer algum parâmetro de comparação e análise.

- Infraestrutura

Esta etapa prevê a escolha de toda a infraestrutura necessária para realização do projeto. De acordo com os requisitos obtidos em etapas anteriores cabe aos envolvidos decidir sobre a utilização de uma solução computacional na nuvem ou uma solução local. Durante esta etapa também é realizada a escolha de linguagens, ferramentas de banco de dados e todo o tipo de software que compõe a solução.

- Consumo da informação

Identificar e projetar quais são as plataformas, softwares e demais requisitos que compõem as necessidades dos clientes dos resultados da analise de big data. Questões como plataformas moveis, distribuição geográfica, controle de acesso e exportação de dados e relatórios devem compor os requisitos de consumo da informação.

É importante salientar que é necessário ter cuidado com as consequências de consumir dados incorretos. Big Data não produz um resultado 100% garantido. Ele aponta tendências e previsões. Apesar da ajuda que a estatística pode dar às análises, sempre existe o risco de tomar uma decisão que não gere o resultado esperado. Isso pode acontecer porque, em uma base muito heterogênea, pode prevalecer um dado que esteja errado, ou inconsistente.

- Privacidade

Em Big Data, as informações são geradas a partir dos usuários e consumidores. Por isso, a quinta característica diz respeito a privacidade dos dados. Essa é uma particularidade difícil de encontrar em outros projetos. Nem todos os usuários sentem-se à vontade de liberar informações pessoais ou cotidianas. Ao passo que existem leis, principalmente em países na Europa e nos EUA, que protegem o direito à preservação dos perfis.

Os requisitos levantados de maneira correta e coerente com as necessidades do cliente contribuem fundamentalmente para todas as etapas do projeto de análise de Big Data.

- Equipe: profissionais e suas características

A demanda por analistas