Data Engineer Senior – Databricks / AWS / IA. TJM 550 max

Contexte de la mission

Dans le cadre du développement d’un produit stratégique de monitoring et d’observabilité Data, nous recherchons un Data Engineer Senior pour intégrer une squad spécialisée dans l’intégration et les plateformes Data.

Le produit a pour objectif de superviser différents services Data dans un environnement multi-cloud. Il collecte et centralise des logs et métriques liés notamment aux pipelines, aux ressources de calcul, aux usages et aux coûts, puis les transforme afin de fournir une vision exploitable via des API et une interface web.

L’ambition est d'évoluer progressivement vers une observabilité proactive, notamment grâce à des workflows d’IA agentique capables de détecter des anomalies, d'en analyser les causes et d'assister les équipes dans leur résolution.

Missions principales

Au sein de la squad Data, vous prendrez en charge la conception, le développement et l’industrialisation des briques Data du produit, depuis la collecte des données jusqu’à leur modélisation en couche Gold.

Vos principales responsabilités seront :

• Concevoir et industrialiser la collecte de logs et métriques provenant de différentes sources Cloud.

• Développer les pipelines d’ingestion et de transformation sous Databricks.

• Concevoir et faire évoluer le Golden Data Model pour répondre aux besoins de monitoring, troubleshooting et pilotage.

• Garantir la qualité, la traçabilité, l’observabilité et la fiabilité des données et traitements.

• Mettre en œuvre des pratiques de Spec-Driven Development : spécifications, contrats de données, tests et validation.

• Participer à la conception de workflows IA agentiques dédiés à la détection d’anomalies et à l’aide au diagnostic.

• Collaborer avec les équipes Backend et Frontend pour permettre l’exposition des données via API et interfaces applicatives.

• Contribuer aux standards d’architecture, de sécurité et de performance dans un environnement AWS.

Profil recherché

Nous recherchons un profil disposant d’une solide expérience en Data Engineering sur des produits Data en production, avec une forte culture Engineering.

Compétences recherchées :

• Excellente maîtrise de Databricks : Spark, Jobs, Notebooks, Delta, orchestration, optimisation, monitoring et gouvernance.

• Très bonne maîtrise de AWS et de ses services Data.

• Expertise en Python, PySpark et SQL avancé.

• Expérience confirmée en modélisation de données analytique, notamment sur des architectures Bronze / Silver / Gold.

• Maîtrise des problématiques de qualité et contrats de données.

• Connaissance des architectures Cloud, de la sécurité et des mécanismes IAM.

• Expérience du développement logiciel : tests automatisés, versioning, revue de code et CI/CD.

• Connaissance des problématiques d’API et d’intégration avec des services applicatifs.

• Une expérience des approches Spec-Driven / Contract-First constitue un avantage.

• Une sensibilité aux LLM et à l’IA agentique appliquée aux workflows Data est fortement appréciée.

• La connaissance des patterns agentiques, de MCP ou de workflows IA outillés constitue un plus.

Livrables attendus – 3 à 6 mois

• Pipelines d’ingestion et de transformation robustes, industrialisés et observables.

• Golden Data Model formalisé et exploitable par les différents composants du produit.

• Mécanismes de détection et de diagnostic enrichis par des workflows IA agentiques.

• Documentation technique et spécifications maintenues à jour.

• Couverture de tests permettant de garantir la fiabilité des développements.

Environnement tech