Data Engineer Spark S3 - Freelance (H/F)
Salaire du marché
Cette offre n'affiche pas de salaire. D'après 84 offres pour ce poste (tous niveaux, Île-de-France), le marché se situe autour de 490€/j (440€/j–550€/j).
Description du poste
Taux journalier (TJM): 550€
La mission :
Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.
Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3, en veillant à la performance, à l'évolutivité et à la gouvernance des données.
Mettre en place des contrôles de qualité : complétude, unicité, fraîcheur, cohérence et traçabilité des données du catalogue.
Construire un système résilient : traitements idempotents, reprise sur erreur, retries maîtrisés, gestion des données en retard, rejouabilité et backfill.
Déployer un monitoring opérationnel avec métriques, logs structurés, dashboards et alertes utiles sur les erreurs, les volumes, la fraîcheur et les temps de traitement.
Participer aux phases de développement et de tests : unitaires, intégration, qualité des données, performance et montée en charge.
Documenter les pipelines, les modèles de données, les procédures d'exploitation et les décisions techniques.
De formation supérieure en informatique, en data ou en ingénierie, avec une première expérience en Data Engineering.
Bonne maîtrise de Spark et de SQL ; une expérience en Python ou Scala est appréciée.
Connaissance des architectures data sur AWS, du stockage objet S3 et des formats ou tables analytiques comme Iceberg.
Sensibilité forte à la qualité des données, à la résilience, à l'observabilité et à l'amélioration continue.
Esprit d'équipe, autonomie, curiosité et envie de contribuer à des produits utilisés par les abonnés
Exigences du poste
Stack technique :
Plan d'action
Un plan personnalisé pour postuler intelligemment à cette offre.
À propos de l'entreprise
Publié par
Intéressé par cette offre ?
Cliquez sur "Postuler" pour accéder à l'offre.