Data Engineer GCP / BigQuery

Dans le cadre du développement d’un produit Socle Data Retail pour un acteur majeur du secteur bancaire, vous rejoignez une équipe chargée des activités de Data Engineering sur une plateforme Data hébergée sur Google Cloud Platform.

Vous intervenez sur le socle de la plateforme, l’alimentation des données distributeurs Retail ainsi que l’accompagnement des équipes IT, des équipes métiers et des utilisateurs de la plateforme.

À partir des expressions de besoins, auxquelles vous contribuez, vos responsabilités sont les suivantes :

• Définir les spécifications fonctionnelles et techniques.

• Concevoir, développer et mettre à disposition des solutions logicielles et des données sur Google Cloud Platform à destination des Data Scientists et Data Analysts.

• Construire les flux d’alimentation de la plateforme Data.

• Alimenter le Datalake avec des données issues des systèmes sources ou de sources externes, notamment Open Data.

• Mettre en œuvre les mécanismes d’exposition, de partage et d’export des données.

• Configurer, tester et assembler les composants logiciels.

• Préparer les composants pour leur mise en production par les équipes d’exploitation.

• Assurer le suivi de production en coordination avec les équipes d’exploitation, sans astreinte en dehors des heures ouvrées.

• Prendre en charge la maintenance corrective et évolutive des flux d’alimentation et d’exposition des données du Datalake.

• Contrôler dans le temps le fonctionnement, la pertinence et la qualité des flux de données.

• Participer à la résolution des incidents et assurer le support auprès des utilisateurs.

• Apporter un support technique aux établissements et aux équipes internes sur les composants applicatifs, les outils internes, les services GCP et les habilitations.

• Accompagner les Data Scientists et Data Analysts dans l’analyse, la préparation et l’exposition des données ainsi que dans la prise en main des outils.

• Optimiser les capacités techniques afin d’améliorer les performances et de maîtriser les coûts selon une approche FinOps.

• Améliorer la qualité de service et la qualité des données en proposant des contrôles, des outils de mesure, de reporting, de métrologie et de datavisualisation.

Vous participez également à des activités de Data Analyse :

• Identifier et obtenir les données adaptées aux problématiques rencontrées.

• Rechercher les sources de données pertinentes.

• Formuler des recommandations sur les données à consolider, transformer ou rapatrier.

• Consolider les données dans les couches socle et les couches d’exposition accessibles aux différents usages via le Data Sharing.

• Analyser les données afin de traduire et traiter des problématiques métiers.

La mission est réalisée dans un environnement Agile, reposant sur Scrum et l’agilité à l’échelle SAFe.

Profil recherché

Vous disposez de 3 à 6 ans d’expérience en Data Engineering, idéalement sur une plateforme Data Cloud et dans un environnement comportant des volumes importants de données.

Compétences indispensables :

• Expérience de Google Cloud Platform ou d’un environnement Cloud équivalent.

• Maîtrise de BigQuery ou d’un système de base de données Cloud équivalent.

• Très bonne maîtrise de SQL.

• Compétences en analyse de données.

• Bonne connaissance des systèmes décisionnels, notamment d’environnements comparables à Teradata ou Exadata.

• Capacité à concevoir, développer et maintenir des flux d’alimentation, d’exposition et d’export de données.

• Capacité à intervenir sur le suivi de production, la maintenance et la résolution d’incidents.

• Aptitude à accompagner des utilisateurs techniques et métiers.

Compétences complémentaires appréciées :

• Connaissance des concepts et pratiques d’intégration et de déploiement continus.

• Expérience des outils Jenkins, Bitbucket, Git, XLD ou XLR.

• Connaissances en scripting Python ou Shell.

• Connaissance des problématiques FinOps, de qualité de service et de qualité des données.

• Expérience des outils de métrologie, de reporting ou de datavisualisation.

• Pratique des méthodes Agile Scrum et SAFe.

Vous êtes autonome, rigoureux et capable de travailler avec des équipes Data, IT, métiers et d’exploitation. Vous savez analyser une problématique, proposer des solutions techniques et assurer un support efficace auprès des utilisateurs.