Otimizando Apache Spark com S3 (e outras dicas)

Há alguns meses tivemos que reestruturar nossa arquitetura de big data aqui na Social Miner para fins de escalabilidade. Passado alguns meses após a implementação da arquitetura, resolvi escrever esse post listando aqui 7 pontos de otimização que acho vitais para quem esteja estruturando uma arquitetura de big data com Apache Spark e S3, partindo de coisas mais simples e triviais, chegando até tópicos não tão difundidos. Então bora lá? 🙂

Continue reading Otimizando Apache Spark com S3 (e outras dicas)

“Infrastructure as Code” com Terraform

Olá a todos, meu nome é Hugo Cesar, sou engenheiro na Social Miner atuando como SysAdmin com foco em DevOps. Hoje vamos iniciar a construção de uma infraestrutura automatizada e estruturada dentro da AWS utilizando Terraform.

Terraform é uma “ferramenta de orquestração” open source desenvolvida pela HashiCorp, na qual você pode definir uma infraestrutura como código para aumentar a produtividade e transparência.

Projetada para provisionar toda network, serviços e servidores na maioria das clouds públicas, através de declarativos que podem ser compartilhados entre os membros da equipe, tratados como código, editados, revisados e versionados. Também pode-se ter um histórico completo das versões da sua infraestrutura, que por sua vez, pode ser compartilhada e reutilizada.

Continue reading “Infrastructure as Code” com Terraform