Tech Lead Data Senior Spark Scala Databricks Power Bi H/F

Détail du poste

Le besoin

Contexte

Pour le compte d'un grand groupe, nous recherchons un Tech Lead Data Senior afin de participer à la construction d'une plateforme décisionnelle alimentée par les données d'une GMAO d'entreprise basée sur IBM Maximo.

Intégré à une équipe Data pluridisciplinaire, vous interviendrez sur l'ensemble de la chaîne de traitement, de l'analyse des besoins métiers jusqu'à la mise à disposition des données pour les usages analytiques et Power BI.

Le projet est mené en environnement Agile Scrum/Kanban.

Vos missions

- Analyser les besoins métiers et les indicateurs de pilotage.
- Participer aux ateliers de conception fonctionnelle et technique.
- Étudier la qualité et la cohérence des données issues de la GMAO.
- Concevoir les modèles de données décisionnels.
- Développer les pipelines d'ingestion et de transformation sous Databricks.
- Développer les traitements Spark en langage Scala.
- Intégrer les flux de données en temps réel via AWS MSK.
- Mettre en oeuvre une architecture Médaillon avec les couches Bronze, Silver et Gold.
- Réaliser la modélisation en étoile avec les tables de faits et les dimensions.
- Concevoir et alimenter les tables destinées aux usages analytiques.
- Préparer et optimiser les jeux de données consommés par Power BI.
- Mettre en place les contrôles de qualité, de cohérence et de traçabilité des données.
- Optimiser les performances et les coûts des traitements.
- Réaliser les tests unitaires et les tests d'intégration.
- Participer à la recette et à la correction des anomalies.
- Assurer la documentation technique et le transfert de connaissances.
- Participer aux cérémonies Agile et contribuer à l'amélioration continue.

Compétences indispensables

- Minimum 5 ans d'expérience en ingénierie des données.
- Expertise confirmée en développement Spark avec Scala.
- Expérience significative sur Databricks.
- Minimum 5 ans d'expérience en modélisation décisionnelle en étoile.
- Expérience concrète dans la mise en oeuvre d'une architecture Médaillon.
- Très bonne maîtrise de SQL avancé.
- Expérience sur au moins trois projets Data significatifs.
- Maîtrise des formats Parquet, Delta Lake et JSON.
- Expérience dans la préparation de données pour des outils de Dataviz.
- Capacité à optimiser les performances et les coûts des traitements Data.

Compétences appréciées

- Expérience sur AWS ou des flux de données en temps réel.
- Connaissance de Power BI.
- Expérience sur des données issues d'IBM Maximo ou d'une autre solution de GMAO.

Le profil recherché

Profil recherchéVous êtes capable de traduire des besoins métiers en modèles de données décisionnels et de challenger les choix techniques. Vous savez collaborer avec les équipes métiers, Data et BI, tout en apportant un accompagnement technique aux développeurs.Autonome et rigoureux, vous êtes à l'aise dans les environnements Agile et savez documenter et présenter clairement les solutions mises en oeuvre.

Mais aussi...

Salaire :Salaire selon profil