Data Engineer Senior Python / Azure / Databricks H/F - Freelance

Taux journalier (TJM): 580

Notre client dans le secteur Énergie et ressources naturelles recherche un Data Engineer Senior Python / Azure / Databricks H/F Descriptif de la mission:

Nous recherchons un Data Engineer Senior pour intervenir au sein d’un grand groupe international du secteur de l’énergie.

La mission consiste à concevoir, développer et industrialiser des pipelines de données complexes, en garantissant des solutions robustes, scalables, maintenables et conformes aux standards de production.

Le contexte technique repose principalement sur un environnement Azure / Python / Databricks, avec des flux de données à traiter en near real-time depuis Azure Event Hubs, ainsi que des données issues d’un Data Lake Azure.

Missions principales

Le consultant interviendra sur les activités suivantes :

• Concevoir et développer des pipelines de données robustes et performants

• Récupérer et traiter des données métiers en near real-time depuis Azure Event Hubs

• Exploiter des données froides depuis un Data Lake Azure

• Développer des traitements de nettoyage, transformation et contextualisation en Python

• Participer à la conception d’architectures data scalables et maintenables

• Industrialiser les flux data dans un environnement cloud Azure

• Garantir la qualité du code via les bonnes pratiques : Clean Code, tests, peer reviews, Git

• Contribuer à l’observabilité des flux : monitoring, alerting, logs

• Optimiser les performances des traitements et les coûts d’infrastructure

• Garantir la sécurité et la conformité des données manipulées

• Échanger avec les équipes métier afin de traduire les besoins business en solutions techniques

• Participer aux rituels Agile et contribuer aux bonnes pratiques de la communauté data