Data Engineer – Qualité des Données (h/f)

Résumé

Rejoignez l’équipe Data Platform en tant que Data Engineer, axé sur la qualité des données et les pratiques QA. Vous intégrerez des mécanismes de validation et d’observabilité dans les pipelines de données pour garantir leur fiabilité et intégrité maximale.

Responsabilités :

• Définir, implémenter et maintenir des règles de qualité des données et des frameworks de validation (complétude, cohérence, unicité, exactitude).

• Concevoir et intégrer des tests automatisés dans les pipelines ETL / ELT.

• Développer et améliorer des pipelines de données avec contrôle qualité et assertions.

• Mettre en œuvre des solutions d’observabilité et de monitoring des données.

• Analyser et résoudre les problèmes de qualité des données en production.

• Valider les transformations de données et leur alignement avec la logique métier.

• Collaborer avec les équipes pour définir les contrats de données.

• Garantir la fiabilité en production par le monitoring des pipelines.

• Promouvoir de bonnes pratiques QA dans le Data Engineering.

Must Haves :

• Diplôme Bac+5 avec au moins 4 ans d’expérience en Data Engineering ou Data QA.

• Solide expertise en Python et frameworks de validation de données.

• Expérience en pipelines ETL/ELT intégrant des tests.

• Pratique de Databricks et Spark.

• Excellente maîtrise du SQL.

• Expérience en environnements cloud (AWS de préférence).

• Compréhension des CI/CD et stratégies d’automatisation des tests.

• Expérience en environnement Agile.

Nice to Have :

• Niveau d’anglais intermédiaire supérieur.

• Fort esprit analytique et capacité à résoudre des problèmes.

• Attention aux détails et sens des responsabilités.

• Capacité de collaboration et esprit d’équipe.

• Intérêt pour les tendances liées à la qualité des données.