Data Engineer H/F

Dans le cadre du renforcement de nos équipes, DRAKS recherche un Ingénieur Data Senior H/F pour intervenir sur une mission de longue durée auprès d'un grand compte basé à Lyon Part-Dieu.

Tu intégreras un environnement Data sous Azure et interviendras à la fois sur les traitements de données et sur les sujets DevOps / infrastructure Cloud associés.

Tes missions

• Concevoir, développer et enchaîner des notebooks Databricks en PySpark
• Alimenter et faire évoluer une architecture médaillon Bronze / Silver / Gold
• Manipuler et optimiser les formats Parquet, Delta et CSV
• Optimiser les notebooks et jobs existants en termes de performance, qualité des données et coûts d'exécution
• Superviser les pipelines Azure Data Factory
• Mettre en place le suivi de la qualité des données, les alertes et les tableaux de bord de supervision
• Participer à la fiabilisation et à l'industrialisation de la plateforme Data
• Détecter et traiter les anomalies et incidents
• Faire évoluer les infrastructures via Terraform
• Maintenir et exécuter les pipelines Jenkins
• Participer aux workflows GitHub, aux revues de code et à la gestion des branches
• Collaborer avec les équipes métiers et techniques
• Participer aux études d'opportunité et sujets d'innovation

Environnement technique :

Data & Cloud : Azure, Databricks, Azure Data Factory, Azure Storage Account, Azure Key Vault, Power BI
Développement : Python, PySpark, Spark SQL, SQL
Data : Parquet, Delta Lake, CSV
DevOps / Infrastructure : Terraform, Jenkins, GitHub, CI/CD
Librairies : PySpark, Delta-Spark, Azure Identity, Azure Key Vault Secrets, Azure Storage Blob