Data engineer AWS/Databricks/Terraform TJM MAX 550

Contexte de la mission

Dans le cadre de l'évolution d'une plateforme Data stratégique, notre client recherche un Senior Software Engineer afin de participer à la modernisation d'une application centrale dédiée à la configuration et à l'orchestration de traitements de données.

Cette mission s'inscrit dans un contexte de transformation visant à améliorer la qualité logicielle, renforcer la robustesse de l'application, optimiser ses performances et faciliter l'intégration de nouveaux cas d'usage.

Le consultant travaillera en étroite collaboration avec les équipes Data Engineering, Architecture et Produit dans un environnement Agile.

Missions

Le consultant interviendra notamment sur les sujets suivants :

• Concevoir, développer et maintenir une application Python dédiée au traitement et à l'orchestration des données.

• Moderniser l'architecture applicative afin d'améliorer sa maintenabilité, sa performance et sa scalabilité.

• Réduire la dette technique grâce à des actions de refactoring et d'optimisation du code existant.

• Concevoir et mettre en œuvre une stratégie complète de tests :

  • Tests unitaires

  • Tests d'intégration

  • Validation des traitements métier

  • Automatisation dans les pipelines CI/CD

• Développer des composants génériques et configurables favorisant la réutilisabilité et limitant les développements spécifiques.

• Participer à l'intégration des traitements dans les pipelines Data.

• Contribuer aux choix d'architecture et à la définition des bonnes pratiques de développement.

• Accompagner les équipes dans l'amélioration continue des pratiques de développement logiciel.

Environnement techniqueCloud

• AWS (S3, ECS, Fargate...)

Data Engineering

• Python

• Apache Spark

• PySpark

• SQL

• Databricks

• Delta Lake

• Lakehouse Architecture

Orchestration

• Apache Airflow

DevOps

• GitLab

• CI/CD

• Docker

Infrastructure as Code

• Terraform

• Terragrunt

Gouvernance Data

• Databricks Unity Catalog

• Gestion des accès

• Monitoring

• Optimisation des coûts

Méthodologie

• Agile Scrum

Compétences techniquesIndispensables

• Python

• AWS

• SQL

• Apache Spark / PySpark

• Databricks

• Airflow

• Docker

• GitLab

• CI/CD

• Terraform

• Architecture logicielle

• Data Engineering

• Monitoring

Appréciées

• Fargate

• Terragrunt

• Unity Catalog

• Lakehouse Architecture

Soft Skills

• Excellente capacité d'analyse et de conception.

• Force de proposition.

• Autonomie et rigueur.

• Esprit collaboratif.

• Capacité à accompagner et faire monter en compétence les équipes.

• Excellente communication.

Langues

• Anglais courant (niveau C1 minimum).