Data engineer Databricks

Missions principales

■     Être force de proposition et participer à la conception des solutions techniques avec les membres de l’équipe

■     Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels

■     Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc.

■     Concevoir et faire évoluer les architectures de données selon l’approche Databricks Medallion Architecture (Bronze, Silver, Gold)

■     Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API

■     Contribuer à l’amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations

Activités

■     Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d’intégration et les flux métiers

■     Mettre en œuvre et orchestrer les traitements de données avec Databricks

■     Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d’indexation, d’optimisation et de gouvernance

■     Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d’exécution

■     Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD

■     Concevoir, développer et maintenir des API pour l’exposition et la consommation des données

■     Mettre en place des mécanismes de Data Quality, de monitoring et d’alerting

■     Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives

■     Rédiger et maintenir la documentation technique des solutions mises en œuvre

■     Accompagner les équipes dans l’adoption des bonnes pratiques de Data Engineering

Profil recherché

Compétences techniques requises

■     Conception et développement de pipelines de données

■     Connaissance des principes d’API REST et des architectures orientées services

■     Solides connaissances en modélisation de données, performance et qualité des données

■     Analyse et correction d’anomalies

■     Connaissance du Cloud AWS

■     Maîtrise de Python, SQL, DBUtils, PySpark et Boto3

■     Maîtrise des configurations de ressources Databricks sur AWS

■     Maîtrise de l’approche AI Augmented du Data Engineer

Atout

■     Gestion du streaming de données en temps réel