Data Engineer Senior – Google Cloud Platform (GCP) / Python Spark

Dans le cadre d’un projet stratégique à forte visibilité portant sur les risques climatiques et physiques, la mission consiste à intégrer une équipe expérimentée afin de participer à la conception et à la réalisation d’une solution Data basée sur Google Cloud Platform (GCP). Le consultant interviendra sur le développement et l’intégration de solutions Python/Spark permettant d’ingérer, agréger, transformer et exposer des données issues de sources multiples, notamment à travers BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et GCS. Il contribuera à la conception des infrastructures et flux de données, à la qualité, la sécurité et l’accessibilité des données, ainsi qu’à leur industrialisation et leur mise en production. Il participera également au maintien en conditions opérationnelles et au RUN des applications, à la supervision des traitements, à la documentation et à la cartographie des sources de données. La mission comprend enfin une dimension DevOps avec l’utilisation de XLD, Terraform et Jenkins, dans un environnement nécessitant autonomie, rigueur, communication et capacité à travailler efficacement en équipe.

Profil recherché

Dans le cadre d’un projet stratégique à forte visibilité portant sur les risques climatiques et physiques, la mission consiste à intégrer une équipe expérimentée afin de participer à la conception et à la réalisation d’une solution Data basée sur Google Cloud Platform (GCP). Le consultant interviendra sur le développement et l’intégration de solutions Python/Spark permettant d’ingérer, agréger, transformer et exposer des données issues de sources multiples, notamment à travers BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et GCS. Il contribuera à la conception des infrastructures et flux de données, à la qualité, la sécurité et l’accessibilité des données, ainsi qu’à leur industrialisation et leur mise en production. Il participera également au maintien en conditions opérationnelles et au RUN des applications, à la supervision des traitements, à la documentation et à la cartographie des sources de données. La mission comprend enfin une dimension DevOps avec l’utilisation de XLD, Terraform et Jenkins, dans un environnement nécessitant autonomie, rigueur, communication et capacité à travailler efficacement en équipe.