Senior Data Engineer Spark Scala/Python - Freelance

Contexte

Nous recherchons un Développeur Data pour renforcer notre équipe Produit et porter l'excellence technique de la Marketplace.

Missions

• Développer des flux de données avec des composants AWS.

• Produire des processus de data quality.

• Garantir la qualité technique des flows et la performance de l'application face à des volumes de données complexes.

• Travailler étroitement avec le Product Owner et les autres membres de l'équipe data pour implémenter des solutions répondant aux demandes business.

Responsabilités

• Développer et maintenir des fonctionnalités complexes en Python et Scala.

• Garantir la fidélité de l'implémentation vis-à-vis des demandes et des micro-interactions.

• Concevoir et faire évoluer une architecture back-end modulaire et scalable (composants réutilisables).

• Assurer la gestion et l'optimisation des flux de données.

• Optimiser les performances des ingestions (temps de chargement, qualité, retry).

• Collaborer activement aux rituels agiles et aux revues de code pour garantir la qualité et la maintenabilité.

• Documenter les choix techniques et l'architecture.

Compétences requises

• Connaissance dans la mise en place de workflow data incluant plusieurs couches et des contrôles de données.

• Excellente maîtrise des services AWS (Lambda, Glue, Redshift, StepFunction, DynamoDB) ainsi que certains services Azure (Azure Function, CosmosDB...).

• Expérience solide en développement Python et Scala.

• Une connaissance des frameworks Langchain ou Langgraph serait un plus.

• Maîtrise de certains outils de streaming : Kafka, Kinesis, EventHub, EventGrid.

• Capacité à consommer et à challenger des API REST complexes.

• Connaissance des outils de tests.

• Maîtrise de Git et des workflows CI/CD.

• Capacité à évoluer dans un environnement international.