Data Engineer - Freelance - Freelance

Contexte

Le rôle majeur de l’équipe est de contribuer à l’accroissement de la connaissance utilisateur et d’animer l’écosystème digital et physique autour des performances clients.

L’équipe actuelle est constituée de :

• 2 Product Managers

• 1 Data Steward

• 1 Data Architect

• 6 Data Engineers

Missions

En tant que Data Engineer au sein de l’équipe Customer 360, vous serez amené à travailler sur 2 produits gérés par l’équipe :

• User DNA : Fournir aux équipes une vision à 360° des clients dans le datalake

• User Data Enrichment : Mettre en place des flux de données avec des partenaires afin de maximiser le potentiel de la connaissance client via la plateforme de big data

Vos responsabilités :

• Implémenter des solutions à partir des règles fonctionnelles établies par le Product Manager / Data Owner

• Documenter les règles de qualité décrites dans Collibra pour valider les datasets

• Partir des templates génériques pour construire des pipelines scalables de données structurées

• Transformer la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform

• Répondre aux questions des utilisateurs ainsi qu’à l’équipe de datavisualisation sur les données mises à disposition

• Être capable d’intervenir sur l’ensemble des flux de l’équipe

• Documenter les flux implémentés

• Contribuer à l’amélioration des bonnes pratiques de développement au sein de l’équipe (Mob programming, Test Driven Development, etc.)

• Contribuer à la communauté de data engineers

Compétences techniques souhaitées

• Expérience sur l'environnement Big Data d’Amazon Web Services avec utilisation des composants Lambda, Redshift, S3 et optimisation de leurs performances

• Expérience avec Apache Spark (PySpark/Scala)

• Mise en place d’ordonnancement via Airflow