Senior Data Ops - Data Platform Engineer H/F

Le besoin

Contexte

Pour le compte d'un grand groupe, nous recherchons un Senior Data Ops / Data Platform Engineer pour rejoindre une équipe en charge du Datalake et de la plateforme Data.

Cette équipe porte notamment les sujets de stockage, métadonnées, catalogage et gouvernance technique du patrimoine Data. La plateforme est utilisée par différentes populations Data : Data Engineers, Data Analysts, Data Scientists et autres utilisateurs de la donnée.

Un enjeu majeur de la mission concerne l'évolution du modèle actuel de stockage et de catalogage vers une approche davantage unifiée autour de Databricks Unity Catalog.

Missions

Data Platform & Storage

• Garantir la robustesse et la disponibilité de la plateforme Data

• Administrer et faire évoluer les environnements de stockage AWS S3

• Monitorer la plateforme et mettre en place des actions proactives

• Contribuer aux sujets de continuité et de reprise d'activité

Infrastructure & Data Ops

• Déployer et maintenir les ressources d'infrastructure via Terraform

• Participer à l'industrialisation des déploiements et aux pratiques CI/CD

• Assurer le support technique autour de S3, AWS Glue et Databricks

• Collaborer étroitement avec les équipes infrastructure et Data

Metadata & gouvernance

• Participer à l'évolution du metastore et au déploiement de Unity Catalog

• Travailler sur les problématiques de catalogage, métadonnées et gestion des accès

• Contribuer à l'automatisation de la gouvernance Data

• Participer à l'activation et à l'exploitation des fonctionnalités de Unity Catalog : lineage, managed tables, gestion des droits, etc.

Accompagnement des équipes

• Définir et promouvoir les bonnes pratiques d'utilisation de la plateforme

• Accompagner les équipes Data dans leur utilisation du Datalake

• Conseiller les équipes lors de la conception de leurs pipelines et de leurs usages de la plateforme

Outils & Environnement

• AWS, avec une expertise forte sur S3

• Databricks

• Terraform / Infrastructure as Code

• Unity Catalog ou expérience significative des problématiques de metastore/catalogage

• AWS Glue

• CI/CD / Git

• Monitoring et observabilité d'une plateforme Data

• Gouvernance technique de la donnée et gestion des accès

• Expérience appréciée sur Hashicorp Vault, IAM, PRA/PCA ou automatisation de la gouvernance

Conditions de travail

• Localisation : Métropole Lilloise

• Mission longue

• Présence sur site : 3 jours pas semaines obligatoires