Data Engineer Gcp H/F

Le besoin

Projet stratégique « Risques Climatiques & Physiques » visant à ingérer, agréger et exposer des données de sources multiples pour produire des rapports métier sur le risque de crédit.

Mission Data Engineer au sein d'une équipe experte sur un sujet à forts enjeux et forte visibilité.

CONTEXTE

- Au sein du Groupe BPCE et de l'entité Technologie & Opérations, la DSI Corporate met en place le projet « Risques Climatiques & Physiques ».

- La mission se déroule dans le domaine « Pertes, Garanties et Entrepôt Risques ».

- Le projet vise à produire des rapports métier sur le scope de la surveillance du risque de crédit.

- Le projet est stratégique et à forte visibilité.

MISSIONS

- Participer à la réalisation du projet basé sur Google Cloud Platform.

- Développer et intégrer des solutions Python Spark avec les services data et compute de Google Cloud Platform.

- Développer et construire des infrastructures de données d'un point de vue système et sécurité.

- Assurer la collecte, le stockage et l'exploitation des flux de données.

- Garantir l'accès qualitatif aux sources de données pour alimenter les espaces de stockage et faciliter leur exploitation par les Data Scientist et Data Analyst.

- Définir la structure des métadonnées.

- Industrialiser les modèles de Machine Learning.

- Maintenir et participer au suivi du RUN des applications et modèles développés.

- Cartographier et documenter les sources de données.

- Assurer la maintenance des applications déployées en production et des infrastructures associées.

- Concevoir des solutions permettant le traitement de volumes importants de flux de données.

- Structurer les bases de données.

Sémantique

Format

- Contribuer à la gestion des référentiels de données.

- Capter et stocker les données structurées ou non structurées produites dans les applications ou venant de l'extérieur de l'entreprise.

- Assurer la supervision et l'intégration des données de diverses natures provenant de sources multiples.

- Vérifier la qualité des données et s'assurer de leur sécurité.

- Assister les Data Scientists dans l'optimisation des performances techniques des modèles de Machine Learning.

- Rester en alerte sur les technologies liées au traitement et à la manipulation de la donnée et identifier les solutions utilisables.

- Proposer des évolutions pour les infrastructures et solutions de données en place.

ORGANISATION & QUOTIDIEN

- Mission au sein d'une équipe engagée et experte sur le sujet.

CONDITIONS

- Date de démarrage : ASAP.

- Libellé de la prestation : IT généraliste - Data Engineer - IDF.

NIVEAU D'EXPÉRIENCE

- Séniorité entre 3 et 6 ans.

COMPÉTENCES TECHNIQUES

- Développement et intégration de solutions data et compute sur Google Cloud Platform.

- Maîtrise de la partie DevOps.

OUTILS

- Python

- Spark

- Google Cloud Platform

- BigQuery

- Dataproc

- Composer

- Cloud Functions

- Cloud Run Jobs

- GCS

- XLD

- Terraforme

- jenkins

SOFT SKILLS

- Bonne communication.

- Autonomie.

- Fluidité du travail en équipe.