Você (provavelmente) não precisa de big data

Big data, artificial intelligence, deep learning e outras tecnologias são as buzzwords do momento. Fala-se tanto disso que diversas pessoas (principalmente quem está chegando na área agora) acreditam que precisam utilizar essas tecnologias para trabalhar com dados (que esse é o único caminho, ou o caminho mais correto), sem nem saber exatamente o que significam e para que servem.

Na minha visão isso acontece porque influenciadores da tecnologia falam apaixonadamente sobre o tema em palestras motivacionais, e falam tanto a ponto de moldar o senso comum, fazendo com que muita gente procure usar big data para resolver problemas que algumas fórmulas num software de planilha resolveriam. Senso comum não é bom senso e essa ideia é uma falácia que pode ser nociva, aumentando a barreira (psicológica) de entrada de quem é de áreas fora da tecnologia e quer/precisa trabalhar com dados.

Um contraexemplo para essa falácia é o próprio Brasil.IO: conseguimos impactar milhares de jornalistas, programadores e pesquisadores por disponibilizarmos dados relevantes de forma acessível - e ainda nem chegamos na casa dos terabytes.

Por isso, enfatizo: você não precisa de tecnologia de ponta para impactar a sociedade. Gerar valor não está diretamente ligado às ferramenas que você utiliza, mas sim em como você as utiliza. Tecnologia deveria ser um meio, não um fim.

Mas então o que é big data? Em resumo: qualquer informação que seja suficientemente grande ou complexa para que softwares de processamento de dados tradicionais consigam dar conta. Para saber mais detalhes, assista à palestra (de 20 minutos) que apresentei durante o encontro do GEDAI/UFPR em que mostro exemplos de casos reais envolvendo o tema - o vídeo está disponível no YouTube:

Os slides estão disponíveis em formato de um site (o código do site está disponível) e também no slideshare, onde é possível fazer o download em PDF:

Se você acha importante que o trabalho do Brasil.IO continue existindo mesmo sem big data, considere doar para o projeto.