Data Engineer - AWS Databricks PySpark Sustainability

Recherche : Data Engineer. Mission longue, localisation : Lille (hybride). Dans ce rôle, vous implémenterez des solutions à partir des règles fonctionnelles établies par le Product Manager / Data Owner. Vous documenterez les règles de qualité décrites dans Collibra pour valider les datasets. Vous partirez des templates génériques pour construire des pipelines scalables de données structurées et transformerez la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform. Vous répondrez aux questions des utilisateurs ainsi qu’à l’équipe de datavisualisation sur les données mises à disposition, serez capable d’intervenir sur l’ensemble des flux de l’équipe, documenterez les flux implémentés et contribuerez à l’amélioration des bonnes pratiques de développement au sein de l’équipe (Mob programming, Test Driven Development, ...). Vous contribuerez également à la communauté de data engineers.

Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières

Profil recherché

Expérience sur l'environnement Big Data d’Amazon Web Services (AWS) et maîtrise de ses composants (S3, CodeArtefact, ECR...) avec optimisation des performances. Avoir déjà implémenté des pipelines de données (DBT, PySpark) et mis en place de l’ordonnancement via Airflow. Connaissances sur Databricks et développement en Python. Connaissances en modélisation de données. Compétences demandées et niveaux de maîtrise : Spark : Avancé ; AWS S3 : Avancé ; Python : Avancé ; PySpark : Avancé ; DATABRICKS : Avancé ; langage SQL : Confirmé.