Data Engineer Gcp Monétique H/F

Détail du poste

Le besoin

Contexte

Récupérer les données issues de sources externes
- Utiliser la puissance du Datalake
- Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels

Mise en oeuvre de la chaîne :

- d'ingestion de données
- de validation de données
- de croisement de données
- de déversement dans le datalake des données enrichies

- Développer dans le respect des règles d'architecture définies
- Développer et documenter les user stories avec l'assistance du Product Owner et des chefs de projets
- Produire les scripts de déploiement
- Prioriser les corrections des anomalies
- Assister les équipes d'exploitation
- Participer à la mise en oeuvre de la chaîne de delivery continue
- Automatiser les tests fonctionnels

Aspects humains :
- Grande capacité à travailler dans une équipe, en mode Scrum / Kanban
- Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail)
- Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées

Missions

- Récupérer et ingérer des données issues de sources externes
- Valider et croiser les données
- Déverser les données enrichies dans le datalake
- Développer et documenter les user stories
- Produire les scripts de déploiement
- Prioriser et corriger les anomalies
- Assister les équipes d'exploitation
- Participer à la mise en oeuvre de la chaîne de delivery continue
- Automatiser les tests fonctionnels

Le profil recherché

Profil recherchéPlus de 9 ans d'expérienceMaîtrise de la plateforme et environnement GCP (indispensable)Connaissance de l'environnement GKECompétences en stockage : HDFS / GCSMaîtrise de l'écosystème Spark / Kafka / ScalaExpérience en planification avec Airflow / ComposerPratique des méthodologies Scrum, Kanban, GitConnaissances en DWH : SQL, BigQuery, BigTableCompétences en delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud BuildGrande capacité à travailler en équipe, en mode Scrum / KanbanBonnes compétences relationnelles et grand sens de la communicationSensible et informé des évolutions technologiques sur les piles logicielles pratiquées

Mais aussi...

Taux journalier :Salaire selon profil