Data Engineer Python / Spark – Google Cloud Platform

Contexte

Dans le cadre d’un projet stratégique autour de la gestion des risques climatiques et physiques, notre client recherche un Data Engineer Python / Spark pour contribuer à la mise en place d’une solution permettant d’ingérer, agréger et exposer des données issues de sources multiples afin de produire des reportings métier liés à la surveillance du risque de crédit.

La mission s’inscrit au sein d’une équipe experte et engagée, sur un projet à forte visibilité basé sur Google Cloud Platform (GCP).

Une expérience dans le domaine du risque de crédit est appréciée.

Missions

• Concevoir et développer des solutions Data en Python / Spark.

• Participer à l'intégration de données provenant de sources multiples.

• Exploiter les services Data & Compute de Google Cloud Platform.

• Contribuer à l'ingestion, l'agrégation et l'exposition des données.

• Participer à la mise en œuvre et à l'évolution des pipelines Data.

• Collaborer avec les équipes techniques et métier du projet.

• Contribuer aux pratiques DevOps et à l'industrialisation des solutions.

Profil recherché

Expertise technique indispensable :

• Python / Spark

• BigQuery

• Dataproc

• Cloud Composer

• Cloud Functions

• Cloud Run Jobs

• Google Cloud Storage (GCS)

DevOps

• XL Deploy (XLD)

• Terraform

• Jenkins

Profil recherché

Profil

• Excellente maîtrise des services GCP cités.

• Bonne maîtrise des pratiques DevOps.

• Autonomie et rigueur.

• Très bonnes capacités de communication.

• Aisance dans le travail en équipe.

• Une expérience dans le domaine du risque de crédit serait un plus.

Environnement technique

Python · Spark · GCP · BigQuery · Dataproc · Composer · Cloud Functions · Cloud Run Jobs · GCS · Terraform · Jenkins · XL Deploy