Engenheiro de Dados Especialista - Coorte Longitudinal

Esta é uma oportunidade de contrato por Prestação de Serviços - Pessoa Física, com duração de até 12 meses, e uma remuneração bruta variando entre R$ 144.000 e R$ 180.000. O trabalho será semipresencial, de no mínimo dois dias de trabalaho presencial, no Centro de Integração de Dados e Conhecimentos para Saúde (CIDACS/Fiocruz Bahia). O trabalho ocorrerá em colaboração com a equipe de epidemiologistas e pesquisadores, e contará com a orientação da equipe de enhenheiro de dados do Cidacs.

No Cidacs o Engenheiro de Dados Especialista atuará no desenvolvimento e aprimoramento das infraestruturas de dados utilizadas na gestão de coortes longitudinais. Este profissional será encarregado de construir e aprimorar uma base de dados única (dados mestres) a partir de diversas fontes de dados, a fim de dar suporte aos processos de pesquisas de avaliação de politicas públicas na saúde dos individuos, permitindo a identificação do eventos relacionados à saúde de cada individuos e a mudança das suas caracteristticas ao longo do tempo (linha da vida), obtidas nos diversos cadastros e dados de sistemas de informação de saúde e outros.

Para tanto, caberá ao prestador de serviço, no processo de seleção, apresentar o detalhamento do planejamento para aprovação das seguintes metas:

META 1 - Construção de base única de indivíduos e atualizações 

Descrição: a base única de indivíduos consiste num arranjo de dados semi-estruturado que resulta de uma deduplicação ponderada de todos os registros referentes ao indivíduos. Para cada indivíduo único presentes em arquivos de backup das bases, um conjunto de variáveis alvo deve produzir novas colunas com seus valores ano a ano. Pretende-se construir, então, uma base de dados de atualizações. 

META 2 - Construção de ETL (pipelines automatizados) para construção e atualização da base única de indivíduos e atualizações 

Descrição: de forma programável, o pipeline se configura como um conjunto de passos necessários para a construção e atualização da base de indivíduos. Dentre os passos destaca-se: i) orquestração de infraestrutura, microserviços ou pods; ii) Extração, Transformação e Carga dos dados; e ii) garantir mecanismos de verificação de sucesso, troubleshooting e log. 

META 3 - Incorporação de tecnologias e competências

Descrição: parte essencial desta intervenção se concentra em garantir que sua equipe do Cidacs seja capaz de executar e manter suas rotinas e dados. Desta forma, preconiza-se que as propostas sejam capazes de propor métodos, modelos e estratégias de incorporação das tecnologias e competências que se apresentem como requisitos para sua execução. 

Para cada uma das metas deverá ser elaborado um cronograma e enumeradas as entregas.

RESPONSABILIDADES E ATRIBUIÇÕES:

• Planejar e implementar a criação de uma base única de individuos e sua estrutura longitudinal de acompanhamento, garantindo o cumprimento das metas estabelecidas no plano de trabalho a ser elaborado para esta prestação de serviço;
• Analisar a situação atual, realizar análises de lacunas, sugerir e implementar melhorias na infraestrura existente dedicada a estruturação das coortes do Cidacs para aumentar a eficiência e eficácia dos sistemas;
• Projetar soluções, considerando os recursos computacioanis existentes no Cidacs, robustas de armazenamento e recuperação de dados, levando em consideração o volume de dados, a integridade dos dados, a performance, a segurança e a conformidade legal;
• Definir e implementar pipelines para a construção de uma base , assegurando que as necessidades de negócios sejam atendidas em termos de performance, escalabilidade, flexibilidade, segurança e otimização de custos;
• Promover a incorporação tecnológica, colaborando com a equipe de desenvolvimento e outros stakeholders para definir especificações técnicas, selecionar e aplicar as tecnologias mais adequadas para cada componente do sistema, com base em boas práticas internacionais;
• Avaliar constantemente as soluções tecnológicas e implementar melhorias que possam trazer benefícios para o projeto;
• Fazer rreuniões periódicas com a equipe do projeto para atualizações sobre o andamento das atividades, dicussoes e decisões;
• Documentar todas as decisões do projeto e manter um registro de versões atualizado para fins de auditoria e controle de qualidade.

O QUE VOCÊ PRECISA CONHECER PARA SE CANDIDATAR:

• Formação superior em Ciência da Computação, Engenharia de Computação, Sistemas de Informação ou áreas correlatas;
• Pelo menos 5 anos de experiência como Engenheiro de Dados;
• Experiência comprovada, a partir de trabalhos anteriores, que o qualifiquem como Especialista em Engenharia de Dados, utilizando grande volume de dados (Big Data);
• Experiência em cenários de Big Data (ex.: Spark, ElasticSearch);
• Experiência em modelagem de bancos de dados relacionais (SQL) e não relacionais (NoSQL);
• Experiência com sistemas de controle de versão (Git) e práticas de CI/CD para a implementação de pipelines de dados.
• Conhecimento avançado em containers e orquestração de containers (Docker, Kubernetes).
• Conhecimentos em data lakes e data lakehouses (ex.: Delta Lake, Trino);
• Experiência com Python, Linux e Bash;
• Ter boa comunicação;
• Capacidade em lidar com time multidisciplinar;
• Inglês Intermediário (leitura).

CONSIDERAMOS ESTES REQUISITOS COMO DIFERENCIAIS:

• Experiência com o uso de bases de dados de Saúde;
• Conhecimentos de Computação de Alto Desempenho;
• Conhecimento em estruturas de dados avançadas;
• Conhecimento de ferramentas de orquestração (ex.: Airflow);
• Conhecimentos de DataSecOps;
• Inglês Fluente.

O candidato deve ser capaz de trabalhar em um ambiente dinâmico e de rápido desenvolvimento, possuir habilidades analíticas e de solução de problemas, além de ser capaz de gerenciar múltiplas tarefas e projetos simultaneamente. É importante que o candidato tenha habilidades interpessoais fortes, possa trabalhar de forma independente e colaborativa e demonstre iniciativa em relação a novas tecnologias e soluções inovadoras.

Oferecemos:

• Remuneração competitiva;
• Ambiente de trabalho colaborativo e dinâmico;
• Oportunidade de trabalhar em projetos de grande impacto na área de saúde pública;
• Possibilidade de desenvolvimento profissional e pessoal.

Local de trabalho: Salvador, Bahia

📍O Cidacs conduz estudos e pesquisas baseados em projetos interdisciplinares originados na vinculação de grandes volumes de dados para ampliar o entendimento dos determinantes e das políticas sociais e ambientais sobre a saúde da população. 📍