Data Engineer Databricks H/F

Dans le cadre du développement de ses expertises Data, Sully Group recherche un Data Engineer pour rejoindre une équipe Data déjà bien établie et composée de plusieurs experts Data et Cloud.

Vous intégrerez un environnement technique moderne, fortement orienté plateforme, industrialisation et cloud, au sein d'un écosystème où la donnée occupe une place stratégique. L'équipe intervient sur des problématiques de collecte, transformation, enrichissement et mise à disposition de données à grande échelle.

Vous participerez à la construction et à l'évolution d'une plateforme Data robuste, pensée pour répondre à des enjeux de performance, de fiabilité et de passage à l'échelle.



Vos missions

Au sein d'une équipe de Data Engineers expérimentés, vous serez amené à :

- Concevoir et développer des pipelines de traitement de données fiables et performants.

- Participer à la construction et à l'évolution d'une plateforme Data moderne basée sur Databricks et AWS.

- Développer des traitements distribués à l'aide de Spark.

- Mettre en oeuvre des architectures Data Lake selon les bonnes pratiques du marché.

- Industrialiser les déploiements et les composants de la plateforme grâce à l'Infrastructure as Code.

- Garantir la qualité, la disponibilité et la maintenabilité des flux de données.

- Contribuer à l'amélioration continue de l'écosystème Data en proposant des évolutions techniques.

- Collaborer avec les différentes équipes afin de faciliter l'exploitation et la valorisation des données.

- Participer aux réflexions d'architecture et aux choix techniques de la plateforme.



Stack technique

Compétences clés

- Python

- Apache Spark

- Databricks

Environnement technique

- AWS

- Terraform

- Scala

- Data Lake

- Git

- CI/CD

- Infrastructure as Code