Dissecando os custos (e a infraestrutura) do projeto


Quando visitamos um site geralmente não temos noção de todo o trabalho e infraestrutura envolvidos para mantê-lo online; por trás dos dados apresentados no Brasil.IO existem diversos programas que fazem raspagem de sites (Web scraping), limpeza de dados, além de outros que armazenam e servem as centenas de gigabytes de dados que temos atualmente; esses programas rodam em servidores que nos custam em torno de R$1.100,00 mensais.

Desde o início do projeto a infraestrutura foi bancada por mim, até que abri uma campanha de financiamento coletivo e algumas pessoas começaram a doar (porém a quantidade de doações que recebemos ainda não é suficiente e eu ainda pago metade desse valor). Os custos de infraestrutura que temos hoje estão listados nessa planilha e segue abaixo um detalhamento de cada item:

Domínio “brasil.io” (namecheap.com)

Domínio do projeto, registrado em 28 de novembro de 2013 (apesar da ideia ser antiga, a plataforma começou a ser desenvolvida como é hoje em 2018).

Custo: 35,00 USD / ano.

Servidor na DigitalOcean EUA (+ extra storage)

Servidor principal (VPS), onde é hospedada a plataforma. Características: Intel(R) Xeon(R) CPU E5-2650L v3 @ 1.80GHz (dual core), 2GB RAM, 60GB SSD + 1TB extra de SSD. Está no datacenter de San Francisco.

Nesse servidor rodam a aplicação feita em Django (frontend e API) e os bancos de dados PostgreSQL (utilizado para hospedar os dados e os índices de busca) e Neo4J (utilizado para traçar caminhos entre pessoas e empresas).

Para o deployment utilizamos o dokku (um platform-as-a-service livre) e, com isso, conseguimos subir alterações com um simples git push (como no Heroku, porém mais barato).

Custo: 120 USD / mês.

DigitalOcean Spaces (arquivos estáticos)

Digital Ocean Spaces é um serviço de hospedagem de arquivos estáticos, similar ao AWS S3. Está sendo utilizado em caráter de testes para hospedar os arquivos estáticos (para quem quer baixar um dataset completo) e para os futuros mirrors que teremos. Atualmente o meu Google Drive pessoal está sendo utilizado para disponibilizar os arquivos completos, mas ele possui limitações e em breve migraremos totalmente.

Custo: 5 USD / mês.

Servidor na OVH (+ extra storage)

Servidor secundário (dedicado), onde rodamos os programas que coletam, limpam e convertem os dados, hospedamos backups e fazemos outros testes. Características: Intel(R) Xeon(R) CPU D-1520 @ 2.20GHz (8 cores), 32GB de RAM, 60GB HD + extra de 760GB. Está num datacenter no Canadá.

Como o custo é bem menor, está em nossos planos migrar a hospedagem da plataforma para esse servidor dedicado e rodar os scripts coletores em uma VPS mais barata (porém essa migração requer algum trabalho).

Custo: 89,90 USD / mês.

Hospedagem rocketchat - chat.brasil.io (Heroku)

Instância do Rocket.Chat que está por trás do chat.brasil.io, onde os colaboradores podem se comunicar mais facilmente, com divisão por assunto. Roda em um dyno simples (o mais barato).

Custo: 7,00 USD / mês.

Horas de trabalho

Trabalho de desenvolvimento de novos scripts de coleta de dados, desenvolvimento de novas funcionalidades na plataforma, manutenção da plataforma (verificação de erros, atualização de datasets etc.) e divulgação do projeto (eventos, palestras, entrevistas, blog etc.).

Todas as horas de trabalho na plataforma (por enquanto) são voluntárias e não estão sendo pagas porque o projeto atualmente não tem verba disponível (uma de nossas metas desse ano é justamente conseguir tornar a plataforma sustentável economicamente. Atualmente trabalho em torno de 60 horas mensais (além do trabalho de diversos outros voluntários).

Nota: os valores descritos são os cobrados pelos provedores de serviços, porém como todos os pagamentos são feitos via cartão de crédito em Dólar o valor final pago é de 110,38% do que está descrito (4% de spread + 6,38% de IOF).