Data Engineer - Freelance

Taux journalier (TJM): 460€/jour

Contexte

Le rôle de l'équipe est de construire et fiabiliser l'ensemble des données Sustainability, Circular Economy et Workshop.

L'équipe est actuellement constituée de :

• 4 Product Managers

• 7 Data Engineers

Missions

En tant que Data Engineer au sein de l’équipe Planet, vous serez amené à travailler sur 2 produits gérés par l’équipe :

• Service : prolonger la vie des produits en structurant les données de l'ensemble des flux circulaires

• Sustainability : mesurer et réduire l'empreinte carbone de chaque produit vendu, de sa conception (éco-design, matériaux préférés) jusqu'à son impact en rayon, pour piloter la trajectoire environnementale

Vos responsabilités :

• Implémenter des solutions, à partir des règles fonctionnelles établies par le Product Manager / Data Owner

• Documenter les règles de qualité décrites dans Collibra au préalable pour valider les datasets

• Partir des templates génériques pour construire des pipelines scalables de données structurées

• Transformer la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform

• Répondre aux questions des utilisateurs ainsi qu’à l’équipe de datavisualisation sur les données mises à disposition

• Être capable d’intervenir sur l’ensemble des flux de l’équipe

• Documenter les flux implémentés

• Contribuer à l’amélioration des bonnes pratiques de développement au sein de l’équipe (Mob programming, Test Driven Development, etc.)

• Contribuer à la communauté de data engineers

Compétences techniques souhaitées

• Expérience sur l'environnement Big Data d’Amazon Web Services (AWS) avec utilisation de ses composants (S3, CodeArtefact, ECR...) et optimisation de leurs performances

• Implémentation de pipelines de données (DBT, PySpark)

• Mise en place de l’ordonnancement via Airflow

• Connaissances sur Databricks

• Développement en Python

• Connaissances sur la modélisation de données

Compétences

• Spark : Avancé

• AWS S3 : Avancé

• Python : Avancé

• PySpark : Avancé

• Databricks : Avancé

• Langage SQL : Confirmé

Conditions de travail

• TJM : 460€

• Localisation : Lille