Contexte
Dans le cadre de l’évolution de sa plateforme Data, un client dans le secteur technologique recherche un(e) Senior Software Engineer – Data Engineering. Vous intégrerez l’équipe Data Engineering et interviendrez sur une application stratégique permettant de configurer, orchestrer et exécuter dynamiquement des calculs sur les données.
Missions
- Faire évoluer et maintenir une application Python dédiée à la configuration et à l’exécution dynamique de calculs sur les données.
- Améliorer la qualité du code existant et réduire la dette technique à travers des actions de refactoring et d’optimisation.
- Concevoir et mettre en œuvre une stratégie de tests complète : tests unitaires, tests d’intégration, validation des règles métiers et des calculs.
- Automatiser l’exécution des tests au sein des pipelines CI/CD.
- Repenser et faire évoluer l’architecture de l’application afin de faciliter l’intégration de nouveaux types de calculs.
- Améliorer les performances, la scalabilité, la fiabilité et l’observabilité de la solution.
- Concevoir des mécanismes génériques, configurables et réutilisables afin de limiter le développement de code spécifique aux différents besoins métiers.
- Collaborer étroitement avec les Data Engineers pour intégrer les processus de calcul aux pipelines Data de la plateforme.
- Définir et promouvoir les bonnes pratiques de Software Engineering et d’architecture au sein de l’équipe.
- Participer aux décisions techniques et stratégiques relatives à l’évolution de la plateforme Data.
- Collaborer avec les Data Engineers, Product Owners et équipes Architecture dans une logique d’amélioration continue.
Outils & Environnement
- Python
- Docker
- AWS (S3, ECS, Fargate)
- Apache (Spark, Airflow)
- Terraform / Terragrunt
- Databricks (Delta Lake, Unity Catalog)
- CI/CD avec GitLab
- Tests unitaires et d’intégration
- Environnement Agile Scrum
Conditions de travail
- Lieu de la mission : Paris
- Date de démarrage : ASAP
- Mission de longue durée
- 2 jours de télétravail par semaine, 3 jours de présence sur site
- Anglais courant indispensable
- Séniorité requise : minimum 7 ans d’expérience