Data Engineer GCP & Big Data

Construction de Pipelines Data :

• Développer des pipelines batch robustes avec Apache Beam / Dataflow pour traiter des volumes de données massifs (TB+)

• Concevoir des pipelines de streaming temps réel avec Pub/Sub et Dataflow Streaming pour l’ingéstion événementielle

• Gérer l’ingéstion multi-sources complexe : APIs REST/GraphQL, bases relationnelles (CDC), fichiers plats, données semi-structurées (JSON, Avro, Parquet)

• Orchestrer les workflows de données avec Cloud Composer (Airflow) : dépendances, retry policies, alerting et SLA monitoring

• Implémenter les stratégies de gestion d’erreurs : dead letter queues, idempotence et exactly-once processing

  Architecture & Modélisation :

• Designer le Data Warehouse BigQuery avec une architecture en couches (raw, staging, curated, serving) selon les bonnes pratiques

• Appliquer la modélisation dimensionnelle (étoile/flocon) et les techniques de Slowly Changing Dimensions (SCD Type 1/2/3)

• Optimiser les performances BigQuery : Partitioning (time/range), Clustering, materialized views et BI Engine

• Concevoir le Data Lake sur Cloud Storage avec une convention de nommage et un cycle de vie adapté (Nearline, Coldline, Archive)

  Qualité & Gouvernance :

• Mettre en place la Data Quality avec dbt tests, Great Expectations et contrôles de cohérence inter-tables

• Implémenter le catalogage des données avec Dataplex : discovery, classification automatique et tagging métier

• Assurer la traçabilité complète des données (lineage) avec Data Catalog et les metadata BigQuery

• Définir et appliquer les politiques de Data Masking et de contrôle d’accès au niveau colonne (column-level security)

  Industrialisation & DevOps Data :

• Industrialiser les déploiements avec CI/CD pour la Data : tests unitaires dbt, validation de schémas et promotion d’environnements

• Provisionner l’infrastructure Data via Terraform : datasets BigQuery, topics Pub/Sub, buckets et DAGs Composer

• Documenter les pipelines, les modèles de données et les runbooks opérationnels pour assurer la maintenabilité