Data Platform Engineer - Freelance

Contexte

Dans le cadre d’un programme stratégique de transformation Data au sein d’un grand groupe international du secteur pharmaceutique, nous recherchons un Senior Data Platform Engineer pour renforcer l’équipe Data & AI Platform Engineering.

La mission s’inscrit dans le déploiement d’une nouvelle plateforme Master Data Management (MDM) reposant notamment sur Databricks et AWS.

Vous n’interviendrez pas directement sur l’implémentation fonctionnelle ou la migration du MDM : votre rôle sera de fournir, industrialiser et sécuriser les fondations Data & Cloud nécessaires aux équipes projet et à l’intégrateur.

Missions

Vous interviendrez notamment sur :

• La mise en place et l’exploitation des environnements Databricks sur AWS
• Le développement et la maintenance de pipelines Data en Python / PySpark / SQL
• La gestion de Delta Lake, Unity Catalog, permissions, schemas et accès aux données
• L’intégration sécurisée entre Databricks et les services AWS : S3, IAM, networking, secrets…
• Le développement et la maintenance de modules Terraform
• L’automatisation du provisioning et du cycle de vie des composants de la plateforme
• La mise en place et l’amélioration des chaînes CI/CD
• L’utilisation de Git / GitHub / GitHub Actions
• L’optimisation des traitements Spark : performances, fiabilité et coûts
• La revue et le challenge des pipelines développés dans le cadre du programme
• L’amélioration de l’observabilité : logs, métriques, monitoring et alerting
• La participation aux démarches FinOps sur Databricks et AWS
• Le développement de scripts, librairies et outils Python permettant d’automatiser les opérations récurrentes

Profil recherché

Vous justifiez d’au moins 5 ans d’expérience en Data Engineering, avec une expérience significative sur des environnements Data complexes et en production.

Compétences indispensables :

• Databricks
• AWS
• Python
• PySpark / Spark
• SQL
• Terraform
• CI/CD
• Git

Une expérience concrète de Databricks sur AWS est particulièrement recherchée.

La maîtrise ou une bonne connaissance de plusieurs des sujets suivants sera fortement appréciée :

• Unity Catalog
• Delta Lake
• Delta Sharing / Open Sharing
• Lakehouse Federation
• AWS IAM / S3 / networking
• GitHub Actions
• Data Quality
• Observabilité
• Optimisation des coûts Cloud / FinOps

Les plus

• Expérience sur un programme MDM ou Data Governance
• Connaissance de Snowflake
• Expérience dans l’industrie pharmaceutique ou Healthcare
• Connaissance des environnements réglementés et contraintes GxP
• Certification Databricks ou AWS
• Sensibilité aux sujets GenAI / AWS Bedrock

⚠️ Une expertise Reltio ou Informatica MDM n’est pas nécessaire.

Nous recherchons avant tout un profil hands-on, capable de développer, automatiser, industrialiser et challenger techniquement une plateforme Data, tout en collaborant avec les équipes Data, Cloud, sécurité, architecture et un intégrateur externe.