Senior Data Engineer / Expert Dataplatform (GCP)

Fiche de poste – Senior Data Engineer / Expert Dataplatform (GCP)

Contexte & Organisation
Le Pôle Data est structuré autour du modèle Spotify :

• Une Dataplatform en pleine transformation, composée de 4 experts

  • Architectes / Développeurs GCP & BigQuery

  • Maintenance de l’existant + évolution de la plateforme

  • Début d’un chantier majeur de construction début 2025 (v1 en cours, forte ambition d’évolution)

Outils & écosystème :

• GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery)

• Airflow (orchestration)

• Dataform (concurrent DBT – SQL)

• Terraform pour le provisioning

• Modèle Data type médaillon

• Pratique Data Engineer moderne + enjeux d’observabilité / finops / sécurité

Objectifs du poste
Renforcer l’équipe Dataplatform avec un profil senior ayant déjà participé à la construction d’une Dataplatform et capable d’accélérer l’industrialisation des pipelines et des outils d’ingestion.
Le rôle vise à :

• Faciliter et accélérer le travail des Data Engineers

• Améliorer l’expérience de construction de pipelines de données

• Structurer et fiabiliser l’ingestion et le transfert de données, encore peu industrialisés

• Apporter une expertise de haut niveau sur GCP & Data Engineering

Missions principales
1. Gouvernance & Contrôle de la plateforme

• Assurer un contrôle global de la Dataplatform et accompagner les Data Engineers dans les bonnes pratiques d’industrialisation.

• Identifier les axes d’amélioration techniques et proposer des solutions robustes.

• Participer aux choix d’architecture technique et Data (modèle médaillon).

2. FinOps, Observabilité & Sécurité

• Définir et mettre en œuvre les standards d’observabilité.

• Garantir la performance, la robustesse et la sécurité de la plateforme.

• Suivre les coûts et proposer des optimisations FinOps.

• Automatiser le provisioning via Terraform.

3. Développement & Industrialisation

• Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI.

• Contribuer à résorber la dette technique.

• Développer et industrialiser les briques d’ingestion et de transformation.

4. Animation & Documentation

• Participer à la mise à disposition de nouveaux outils et à la documentation associée.

• Assurer une démarche d'amélioration continue du run.

• Animer une équipe de Data Engineer chaque vendredi:

  • partage de bonnes pratiques

  • suivi des évolutions de la Dataplatform

  • retours d’expérience et recommandations

5. Innovation & IA

• Apporter une vision sur l’usage de l’IA (générative et traditionnelle) pour :

  • réduire les coûts

  • améliorer la productivité

  • faciliter le travail des collaborateurs

• Contribuer à des projets Vertex AI / ML (ambition forte vers l’IA)