Data Engineer GCP - CDI

Contexte

La mission vient dans le contexte d’un projet de gestion (Build + Run) d’une plateforme data sur GCP pour les données de l'entreprise.

Missions

• Mise en place de pipelines d’ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).

• Transformation des données via dbt selon les modèles métiers définis.

• Gestion de l’infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.

• Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.

• Développement du backend d’un portail utilisateur pour l’accès aux services de la plateforme (Flask).

• Création d’un connecteur entre GCP et l’outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).

• Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).

• Mise en place de la supervision et du monitoring des pipelines de données.

• Rédaction de la documentation technique liée aux développements réalisés.

Environnement technique

• GCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage

• Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash