Data Engineer Pyspark H/F

Nous recherchons un·e Data Engineer PySpark confirmé·e capable de concevoir, industrialiser et opérer des pipelines de données à grande échelle dans le secteur de l'énergie, et de structurer la plateforme de traitement des données de consommation IT au sein de Palantir Foundry. Vous serez responsable de l'ingestion, du traitement et de la mise à disposition des données (modélisation, qualité, performance), de la mise en oeuvre des flux dans un environnement cloud ainsi que de la construction des couches de données et des reportings pour les équipes métiers et IT.

Vous prendrez en charge à parts égales les activités de BUILD (conception des modèles de données, développement des traitements en Python/PySpark, mise en place des pipelines et automatisations, intégration avec les APIs et les systèmes sources, documentation technique) et de RUN (suivi quotidien des flux, supervision des performances, gestion des incidents et des corrections, optimisation continue des traitements, support aux utilisateurs BI et métiers). Vous interviendrez sur plusieurs projets data en parallèle, la mise en place et le suivi des indicateurs de qualité et de performance des données, ainsi que sur le conseil et l'accompagnement des équipes métiers et de la DSI pour garantir la fiabilité des données, la maîtrise des coûts et des délais, et la montée en maturité de la plateforme data et des bonnes pratiques d'ingénierie de données.

Vos missions:

• Concevoir, développer et optimiser des pipelines de données en Python/PySpark dans Palantir Foundry pour traiter les données de consommation IT (ingestion, transformation, agrégation).
• Collaborer avec les métiers et l'équipe projet pour comprendre les besoins, investiguer les anomalies de données et les traduire en solutions techniques adaptées.
• Mettre en place des modèles de données et des structures de stockage (schéma en étoile, relations 1N / NN), en garantissant la qualité, la performance et la fiabilité des données dans un environnement cloud.
• Développer des dashboards et des fonctions d'affichage en JavaScript/TypeScript, et les intégrer avec les pipelines de données existants.
• Documenter les développements, présenter les résultats, contribuer aux phases de tests/recette et participer au suivi quotidien des flux de données et des applications.
• Travailler au sein de l'équipe BI en mode Agile (Jira), utiliser Git pour le versionning, tirer parti des outils de développement assisté par l'IA et contribuer à l'animation de la communauté technique.