Data Engineer

Dans le cadre d'un projet de décommissionnement de SAP BW, une organisation renforce son équipe Data Platform pour concevoir, industrialiser et optimiser ses pipelines de données sur Google Cloud.
Les données sources sont déposées sous forme brute dans BigQuery via SAP Datasphere. La mission porte principalement sur leur transformation en modèles analytiques fiables, performants et exploitables pour les usages décisionnels.

Livrables attendus :
- Pipelines de transformation développés avec dbt dans BigQuery.
- Modèles analytiques structurés et documentés.
- Tests de qualité intégrés aux traitements.
- Développements versionnés et intégrés au processus CI/CD.
- Documentation technique et d'exploitation.

Missions principales :
- Concevoir et développer les transformations de données sous BigQuery à l'aide de dbt.
- Structurer les modèles selon une architecture en couches de type médaillon : données brutes, données nettoyées et harmonisées, puis modèles analytiques.
- Traduire les règles de gestion définies avec les interlocuteurs métier et techniques en transformations SQL.
- Optimiser les performances et les coûts des traitements BigQuery, notamment par le partitionnement, le clustering et les stratégies de chargement adaptées.
- Mettre en place des tests et des contrôles de qualité des données.
- Industrialiser les développements en appliquant les bonnes pratiques de versionnement, de revue de code et d'intégration et de déploiement continus.
- Contribuer à la fiabilité des pipelines et à l'analyse des anomalies.
- Documenter les modèles de données, les transformations et les procédures d'exploitation.
- Selon les besoins, contribuer à l'exposition des données dans Looker à l'aide de LookML.

Profil recherché

Vous disposez d'une expérience significative en Data Engineering ou Analytics Engineering et savez intervenir de manière autonome au sein d'une équipe Data Platform.
Vous faites preuve de rigueur dans la conception, les tests et la documentation. Vous êtes capable de comprendre les besoins métier, de clarifier les règles de transformation et de collaborer avec les équipes techniques et fonctionnelles.

Compétences requises :
- Maîtrise du SQL avancé et de la modélisation analytique.
- Expérience confirmée de BigQuery : développement, optimisation des requêtes, partitionnement et clustering.
- Expérience confirmée de dbt : modèles, dépendances, tests et documentation.
- Maîtrise de Git et des pratiques CI/CD appliquées à la data.
- Capacité à concevoir des traitements maintenables et fiables en production.