OmDev Logo
GetYourJob
0
Publié aujourd'hui

Data Engineer - AWS Databricks PySpark Sustainability - Freelance (H/F)

Entreprise
Collective workPlateforme freelance
Localisation
Lille
Hybride
Type de contrat
Freelance
Niveau
Junior

Description du poste

Taux journalier (TJM): 410
Mission longue basée à Lille (hybride). Organisation engagée dans une transformation visant à tracer, mesurer et optimiser l'impact environnemental des produits. L'équipe Planet est responsable de la construction et de la fiabilisation des données Sustainability, Circular Economy et Workshop.
En tant que Data Engineer, vous travaillerez sur deux produits gérés par l'équipe :
* Service : prolonger la vie des produits en structurant les données de l'ensemble des flux circulaires.
* Sustainability : mesurer et réduire l'empreinte carbone de chaque produit depuis la conception jusqu'à l'impact en rayon.
Responsabilités :
* Implémenter des solutions, à partir des règles fonctionnelles établies par le Product Manager / Data Owner.
* Documenter les règles de qualité décrites dans Collibra au préalable pour valider les datasets.
* Partir des templates génériques pour construire des pipelines scalables de données structurées.
* Transformer la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform.
* Répondre aux questions des utilisateurs ainsi que de l'équipe de datavisualisation sur les données mises à disposition.
* Intervenir sur l'ensemble des flux de l'équipe et documenter les flux implémentés.
* Contribuer à l'amélioration des bonnes pratiques de développement (Mob programming, Test Driven Development, ...) et à la communauté de data engineers.
* Environnement Big Data Amazon Web Services (AWS) : S3, CodeArtefact, ECR, etc.
* Pipelines de données : DBT, PySpark
* Ordonnancement : Airflow
* Plateforme : Databricks
* Langages : Python, SQL
* Outils de gouvernance des données : Collibra
* Localisation : Lille (mode hybride)
* Durée : mission longue



Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières :
https://www.linkedin.com/company/naxotech (https://www.linkedin.com/company/naxotech)
1. Expérience sur l'environnement Big Data d'Amazon Web Services (AWS) avec maîtrise de ses composants (S3, CodeArtefact, ECR) et optimisation de leurs performances
2. Expérience dans l'implémentation de pipelines de données (DBT, PySpark)
3. Expérience dans la mise en place de l'ordonnancement via Airflow
4. Connaissances sur Databricks
5. Développement en Python
6. Connaissances en modélisation de données
7. Niveau Avancé en Spark, AWS S3, Python, PySpark, Databricks
8. Niveau Confirmé en langage SQL

Exigences du poste

Compétences requises

  • Python
  • AWS
  • PySpark
  • TDD

Un plus

  • Databricks
  • Flux
  • Collibra
  • Business Intelligence
  • AWS S3
  • dbt
  • Airflow
  • SQL
  • Apache Spark
  • Big Data
  • Clean Code
  • Data Governance

Toutes les offres Python à Lille

Plan d'action

Un plan personnalisé pour postuler intelligemment à cette offre.

À propos de l'entreprise

Collective workPlateforme freelance
Voir toutes les offres de Collective work

Publié par

Recruteur
Recruteur

Intéressé par cette offre ?

Cliquez sur "Postuler" pour accéder à l'offre.