Data engineer GCP Monétique - Freelance (H/F)

Récupérer les données issues de sources externes

• Utiliser la puissance du Datalake
• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels

Mise en œuvre de la chaîne :
*
d'ingestion de données
*
de validation de données
*
de croisement de données
*
de déversement dans le datalake des données enrichies

• Développer dans le respect des règles d'architecture définies
• Développer et documenter les user stories avec l'assistance du Product Owner et des chefs de projets
• Produire les scripts de déploiement
• Prioriser les corrections des anomalies
• Assister les équipes d'exploitation
• Participer à la mise en œuvre de la chaîne de delivery continue
• Automatiser les tests fonctionnels

Aspects humains :

• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban
• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail)
• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées

*
Récupérer et ingérer des données issues de sources externes
*
Valider et croiser les données
*
Déverser les données enrichies dans le datalake
*
Développer et documenter les user stories
*
Produire les scripts de déploiement
*
Prioriser et corriger les anomalies
*
Assister les équipes d'exploitation
*
Participer à la mise en œuvre de la chaîne de delivery continue
*
Automatiser les tests fonctionnels
1. Plus de 9 ans d'expérience
2. Maîtrise de la plateforme et environnement GCP (indispensable)
3. Connaissance de l'environnement GKE
4. Compétences en stockage : HDFS / GCS
5. Maîtrise de l'écosystème Spark / Kafka / Scala
6. Expérience en planification avec Airflow / Composer
7. Pratique des méthodologies Scrum, Kanban, Git
8. Connaissances en DWH : SQL, BigQuery, BigTable
9. Compétences en delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
10. Grande capacité à travailler en équipe, en mode Scrum / Kanban
11. Bonnes compétences relationnelles et grand sens de la communication
12. Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées