Data Engineer Senior AWS / Databricks

Contexte de la mission

Notre client est un grand groupe international dans le secteur de l'énergie disposant d'une forte présence à l'échelle mondiale et engagé dans une transformation digitale ambitieuse.

Au sein de sa Digital Factory, composée de plusieurs équipes produits agiles et multidisciplinaires, la Data occupe une place centrale dans le développement de solutions innovantes à destination des métiers.

Dans ce contexte, nous recherchons un(e) Data Engineer Senior afin de renforcer une équipe Data en charge de concevoir, développer et faire évoluer des plateformes de données à fort enjeu.

Objectifs et livrables

Vous contribuerez à la conception et à l'évolution de solutions data modernes dans un environnement cloud, en garantissant la qualité, la performance et la fiabilité des traitements mis en œuvre.

Responsabilités

• Construire et maintenir des pipelines de données scalables pour les processus ETL/ELT.

• Développer des solutions data en Python pour l'ingestion, la transformation et la préparation des données.

• Concevoir et implémenter des modèles de données robustes, maintenables et évolutifs.

• Optimiser les architectures de données et les solutions de stockage en matière de performance et de coûts.

• Utiliser Databricks et les services AWS pour orchestrer, traiter et exposer les données.

• Maintenir et faire évoluer des mécanismes de calcul complexes.

• Collaborer avec les équipes métier afin de comprendre les besoins et de proposer des solutions adaptées.

• Travailler en étroite collaboration avec les équipes de développement sur les problématiques d'intégration.

• Participer aux revues de code, ateliers de conception et cérémonies agiles.

• Mettre en place et faire respecter les standards de qualité des données.

• Contribuer à l'amélioration continue des plateformes, outils et pratiques Data Engineering.

• Utiliser des outils d'IA générative et/ou agentique dans les activités de delivery.

Compétences requises

Techniques

• Python (Pandas, Pydantic, tests unitaires, linting, formatage)

• GitHub et GitHub Actions

• AWS (Lambda, Step Functions, S3, RDS...)

• Databricks / PySpark

• SQL (PostgreSQL ou équivalent)

• Terraform (connaissances ou volonté de monter en compétence)

• Outils de gestion et d'administration de bases de données (DBeaver ou équivalent)

Soft skills

• Forte capacité d'analyse et de résolution de problèmes

• Curiosité technique et volonté d'apprendre

• Esprit d'équipe et sens de la collaboration

• Autonomie et proactivité

• Rigueur et souci de la qualité

• Excellente communication en français et en anglais

• Capacité à vulgariser des sujets techniques auprès d'interlocuteurs métier

Informations complémentaires

• Démarrage : ASAP

• Mission longue durée

• Environnement international

• Méthodologie Agile

• Écosystème Cloud AWS / Databricks