Data Engineer GCP – Python / Spark – Risques Climatiques & Crédit

Contexte

Le projet vise à mettre en place une solution permettant d’ingérer, agréger et exposer des données issues de sources multiples, afin de produire les rapports métiers nécessaires à la surveillance du risque de crédit.

La solution est développée sur Google Cloud Platform (GCP) au sein d’une équipe expérimentée, sur un projet à forts enjeux et à forte visibilité. Une expérience dans le domaine du risque de crédit est appréciée.

Missions principales

Le consultant interviendra notamment sur :

• La conception et le développement de solutions Data sur Google Cloud Platform ;

• Le développement et l’intégration de traitements Python / Spark ;

• La mise en place et l’évolution des pipelines d’ingestion et de traitement de données ;

• L’ingestion, l’agrégation et l’exposition de données provenant de sources multiples ;

• Le développement de traitements à forte volumétrie ;

• La collecte, le stockage et l’exploitation des flux de données ;

• La supervision et l’intégration de données de différentes natures ;

• Le contrôle de la qualité et de la sécurité des données ;

• La maintenance et le suivi du RUN des applications développées ;

• La maintenance des infrastructures Data associées ;

• La documentation et la cartographie des différentes sources de données ;

• La contribution à l’industrialisation des traitements et modèles ;

• La proposition d’évolutions des infrastructures et solutions Data existantes.

La mission rattache également au rôle de Data Engineer la structuration des bases, la gestion des métadonnées et référentiels, l'industrialisation des modèles ML ainsi que leur maintien en RUN. 

Profil recherché

Compétences techniques indispensables

Développement / Data :

• Python : excellente maîtrise ;

• Spark : excellente maîtrise ;

• Développement et intégration de solutions Data sur GCP.

Google Cloud Platform – excellente maîtrise attendue :

• BigQuery ;

• Dataproc ;

• Cloud Composer ;

• Cloud Functions ;

• Cloud Run Jobs ;

• Google Cloud Storage (GCS).

DevOps – bonne maîtrise attendue :

• Terraform ;

• Jenkins ;

• XL Deploy (XLD).

Ces expertises sont explicitement présentées comme impératives compte tenu du caractère stratégique et de la visibilité du projet.

Compétences fonctionnelles appréciées

• Expérience dans le domaine du risque de crédit ;

• Connaissance des environnements bancaires ;

• Expérience de projets Data à forte volumétrie ;

• Compréhension des problématiques de qualité, sécurité et gouvernance de la donnée.

Profil recherché

Nous recherchons un Data Engineer GCP confirmé disposant de 3 à 6 ans d’expérience, présentant une expertise concrète en développement Python / Spark sur Google Cloud Platform.

Le candidat devra pouvoir démontrer une expérience opérationnelle significative sur BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et GCS.

Une bonne maîtrise de la chaîne DevOps, notamment Terraform, Jenkins et XL Deploy, est également attendue.

Au-delà des compétences techniques, le consultant devra faire preuve d’autonomie, d’une bonne capacité de communication et d’une réelle fluidité dans le travail en équipe.

Une expérience dans le risque de crédit constituera un atout différenciant.