Data Engineer Databricks / Scala

Contexte
Dans le cadre du renforcement d'une équipe technique transverse intervenant sur un périmètre d'une quinzaine d'applications Data, nous recherchons 4 Data Engineers Séniors, capables d'intervenir principalement sur des activités de RUN, tout en pouvant ponctuellement contribuer aux activités BUILD.
L'objectif est de renforcer la fiabilité et l'exploitation des applications Data tout en assurant une continuité forte entre développement, mise en production et RUN.
Nous recherchons avant tout des Data Engineers expérimentés, avec une réelle culture de la production et du DevOps, et non des profils DevOps infrastructure purs.
Missions
RUN & support technique

• Analyser et résoudre les incidents de production.
• Diagnostiquer les anomalies sur les traitements, jobs et pipelines Data.
• Identifier et traiter les problèmes récurrents.
• Participer à la fiabilisation des applications et traitements Data.

DevOps & automatisation

• Améliorer les processus de déploiement et de mise en production.
• Industrialiser et automatiser les tâches d'exploitation.
• Contribuer à la fiabilisation des déploiements et traitements Data.
• Participer à l'amélioration continue des pratiques RUN/BUILD.

Supervision & monitoring

• Améliorer les mécanismes de supervision et d'alerting.
• Intégrer les dispositifs de contrôle directement dans les jobs et pipelines Data.
• Faciliter la détection, l'analyse et le diagnostic des anomalies.

Maintien en conditions opérationnelles

• Gérer les changements techniques.
• Participer à la sécurisation des environnements.
• Assurer la gestion des secrets applicatifs.
• Maintenir et améliorer la documentation d'exploitation.
• Intervenir ponctuellement sur les développements Data Engineering.
• Apporter une expertise technique aux équipes projets.
• Contribuer aux développements et à la sécurisation des livraisons lors des pics de charge.

La maîtrise de Databricks et Scala constitue un prérequis pour le poste.

• Databricks : maîtrise indispensable
• Scala : très bonne maîtrise indispensable
• Apache Spark : expérience confirmée
• Microsoft Azure : bonne connaissance de l'environnement Cloud
• Développement et exploitation de pipelines Data
• Diagnostic et résolution d'incidents sur des traitements Data
• Automatisation et industrialisation
• Pratiques DevOps / CI-CD
• Supervision et monitoring de traitements Data