Tech Lead Data Engineer Gcp-N2 Expérimenté H/F

Le besoin

Dans le cadre d'un projet stratégique lié à la gestion des risques climatiques et physiques, nous recherchons un Tech Lead Data Engineer spécialisé en Python, Spark et Google Cloud Platform (GCP).

Vous intégrerez une équipe technique expérimentée en charge de mettre en place une solution permettant d'ingérer, agréger, transformer et exposer des données provenant de sources multiples, afin de produire des données et rapports destinés au suivi et à la surveillance des risques.

La mission intervient dans un environnement Data à forts enjeux, avec des problématiques de volumétrie, de fiabilité des données, d'industrialisation et de performance.

Mission:

En tant que Tech Lead Data Engineer GCP, vous serez amené à :

• Concevoir et développer des solutions Data en Python / Spark.

• Participer à l'architecture et à l'intégration de solutions basées sur Google Cloud Platform.

• Concevoir et maintenir des pipelines d'ingestion et de transformation de données.

• Travailler sur des données provenant de sources multiples.

• Participer à l'industrialisation et à l'automatisation des traitements Data.

• Assurer l'intégration des solutions avec les différents services Cloud.

• Contribuer à la qualité, la fiabilité et la performance des traitements.

• Participer aux choix techniques et à la définition des bonnes pratiques.

• Collaborer étroitement avec les équipes Data, techniques et fonctionnelles.

• Participer aux activités DevOps et à l'automatisation des déploiements.

• Accompagner l'équipe sur les sujets techniques et contribuer à la résolution des problématiques complexes.

Environnement technique

Data / Cloud

• Python

• Apache Spark

• Google Cloud Platform

• BigQuery

• Dataproc

• Cloud Composer

• Cloud Functions

• Cloud Run Jobs

• Google Cloud Storage (GCS)

DevOps / Industrialisation

• Terraform

• Jenkins

• XLD