Data Engineer Spark S3 - Freelance

La mission :

• Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.

• Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3, en veillant à la performance, à l’évolutivité et à la gouvernance des données.

• Mettre en place des contrôles de qualité : complétude, unicité, fraîcheur, cohérence et traçabilité des données du catalogue.

• Construire un système résilient : traitements idempotents, reprise sur erreur, retries maîtrisés, gestion des données en retard, rejouabilité et backfill.

• Déployer un monitoring opérationnel avec métriques, logs structurés, dashboards et alertes utiles sur les erreurs, les volumes, la fraîcheur et les temps de traitement.

• Participer aux phases de développement et de tests : unitaires, intégration, qualité des données, performance et montée en charge.

• Documenter les pipelines, les modèles de données, les procédures d’exploitation et les décisions techniques.