Spread Tecnologia
Descrição da vaga
Venha fazer parte de uma empresa que ama transformar com tecnologia e abraça a diversidade em todas as suas formas!
Responsabilidades e atribuições
Um engenheiro de dados Big Data é um profissional especializado em projetar, construir e manter sistemas que lidam com grandes volumes de dados, conhecidos como Big Data.
Eles trabalham com tecnologias e ferramentas específicas para processar, armazenar e analisar dados em escala, garantindo que as informações sejam acessíveis e úteis para as empresas.
Principais responsabilidades:
- Arquitetura de Big Data: Projetar e implementar a infraestrutura de Big Data, incluindo clusters Hadoop, data lakes, bancos de dados NoSQL e plataformas de processamento distribuído.
- Processamento de Big Data: Desenvolver e otimizar pipelines de dados para coletar, transformar e analisar grandes volumes de dados em tempo real ou em lote.
- Armazenamento de Big Data: Escolher e configurar soluções de armazenamento escaláveis e eficientes para Big Data, como HDFS, S3, Cassandra e MongoDB.
- Análise de Big Data: Utilizar ferramentas e técnicas de análise de dados para extrair insights e informações valiosas de grandes conjuntos de dados.
- Otimização de desempenho: Monitorar e otimizar o desempenho dos sistemas de Big Data para garantir a escalabilidade, confiabilidade e eficiência.
- Automação: Implementar ferramentas e processos para automatizar tarefas de Big Data, como coleta, processamento e análise de dados.
Requisitos e qualificações
Imprescindível:
- FORMAÇÃO SUPERIOR CURSANDO OU COMPLETO
- Linguagens de programação: Python, Java, Scala.Ferramentas de Big Data: Hadoop, Spark, Hive, Pig, Kafka, Flink, Storm.
- Bancos de dados NoSQL: Cassandra, MongoDB, HBase.Cloud Computing: AWS, Azure, GCP, Informatica Cloud.