Senior Data Engineer H/F

L'agence d'Astek Lille recherche son nouveau Senior data engineer afin de rejoindre nos équipes !

Ce que nous allons accomplir ensemble :

Rejoignez-nous pour intervenir sur une application grand public dans le domaine du retail, destinée à des millions d'utilisateurs passionnés de shopping en ligne. Ensemble, nous façonnerons une expérience utilisateur exceptionnelle et contribuerons à la croissance de notre plateforme au sein d'un secteur en constante évolution.

Vous ferez partie d'une équipe agile et collaborative, où l'innovation est encouragée et où chacun est encouragé à exprimer ses idées créatives. Ensemble, nous travaillerons en étroite collaboration pour relever les défis passionnants du secteur du retail et pour offrir une expérience client exceptionnelle.

Votre mission (...si vous l'acceptez !) :

• Garantir la robustesse et la performance de la plateforme dataMonitorer la plateforme et mettre en place des actions proactives d'amélioration
• Accompagner les migrations techniques (Databricks, orchestration)Optimiser les traitements PySpark
• Assurer le support et l'accompagnement des équipes techniques
• Mettre en place et promouvoir les bonnes pratiques data engineering
• Développer et maintenir des pipelines avec une logique CI/CD (Terraform)Contribuer à la gouvernance et à l'accessibilité des données
• Tester et intégrer de nouveaux outils dans la stack

Votre Stack de Jeu :

• Data & Big Data : Spark, PySpark, Databricks
• Cloud : AWS (EMR
• Orchestration : Airflow / MWAA, Astronomer
• Data Catalog & Gouvernance : Unity Catalog
• Infrastructure & CI/CD : Terraform, pipelines CI/CD

Les petits plus du projet :

Vous interviendrez au sein d'un écosystème de projets variés dans le domaine du retail, où votre force de proposition et votre participation active à l'amélioration continue seront de rigueur. Vous aurez également l'opportunité de travailler avec des technologies de pointe et de développer vos compétences au sein d'une équipe passionnée et motivée.