Data Engineer GCP BigQuery (H/F)

Rejoignez une équipe de Data Engineers au sein d'un grand groupe du secteur aéronautique et du transport aérien, pour contribuer au développement d'une plateforme de données centralisée alimentant des modèles de machine learning de nouvelle génération.

Vous intégrez un projet structurant visant à construire un Personalization Context Service robuste, capable de traiter et orchestrer des flux de données massifs provenant de multiples sources. Dans un environnement cloud-native sur Google Cloud Platform, vous travaillerez sur l'ingestion, la transformation et l'optimisation de données critiques, en étroite collaboration avec des équipes de data science et d'infrastructure. La mission combine des enjeux de performance, de scalabilité et de qualité de données.

Votre intégration s'effectuera en deux phases : dans un premier temps, vous contribuerez à l'amélioration et à la consolidation de la source Google Tag Manager (GTM), élément essentiel du pipeline de personnalisation. Vous serez ensuite impliqué dans la mise en œuvre et l'évolution de la plateforme de données centralisée, en charge de fédérer l'ensemble des données nécessaires aux modèles ML. Vous évoluerez dans un environnement technologique moderne, en méthodologie Agile, avec un fort accent sur l'infrastructure-as-code et les bonnes pratiques DevOps.

Responsabilités :
- Concevoir et développer des pipelines de données performants et maintenables sur Google Cloud Platform (DataProc, DataFlow, BigQuery, BigTable)
- Implémenter des transformations de données complexes en Scala/Java, en respectant les standards de qualité et de performance
- Assurer l'intégration et l'orchestration de flux événementiels via Kafka, du setup à la configuration en production
- Contribuer à la définition de l'architecture données et à l'optimisation des requêtes BigQuery pour des volumes massifs
- Automatiser le déploiement et l'intégration continue via Terraform et GitHub Actions
- Collaborer avec les équipes ML et les stakeholders métier pour valider les spécifications et les livrables données
- Participer aux revues de code, à la documentation technique et au partage de bonnes pratiques au sein de l'équipe

Localisation : Valbonne