Data Engineer H/F

Au sein de l’équipe data-major, vous intervenez pour le compte de nos clients grands comptes et industriels sur des projets Data à forte volumétrie et à forts enjeux de performance, de scalabilité et de fiabilité.

À ce titre, vos principales missions sont les suivantes :

• Participer au cadrage et à la conception d’architectures Big Data et Cloud (batch et streaming) dans des environnements complexes.

• Analyser les besoins métiers et techniques et rédiger les spécifications fonctionnelles et techniques des pipelines de données.

• Estimer les charges de développement, contribuer au pilotage technique et suivre l’avancement des travaux.

• Concevoir, développer et maintenir des pipelines de traitement de données à grande échelle, en s’appuyant sur des technologies Big Data et Cloud, notamment :

o   Environnements Cloud (AWS, Azure), plateformes Big Data & Data Platform (Databricks, Hadoop, Snowflake), et moteurs de traitement distribué (Spark)

o   Solutions d’orchestration et de streaming (Airflow, Kafka) pour des usages batch et temps réel

o   Langages et pratiques Data Engineering (Python, Java, Scala) et outils DevOps / DataOps (GitHub, Jenkins, Jira, Confluence)

• Garantir la performance, la robustesse, la sécurité et la scalabilité des traitements de données.

• Mettre en œuvre les bonnes pratiques de développement, de tests, d’industrialisation et de monitoring.

• Intervenir sur des contextes industriels et grands comptes, impliquant de fortes contraintes de volumétrie, de disponibilité et de qualité de service.

• Partager votre expertise et contribuer à la montée en compétences des équipes, en lien avec les chefs de projet et architectes Data.