Data Engineer - Services Financiers H/F

Notre client dans le secteur Autre recherche un/une Data Engineer - Services FinanciersH/F

Description de la mission :

Fiche de mission – Data Engineer

Contexte et objectif de la mission

Dans le cadre d'un programme de transformation technologique dans le secteur financier (actifs alternatifs / gestion de patrimoine), la mission consiste à participer au développement et au déploiement d'une plateforme de consolidation et de distribution de données et documents financiers.

Missions principales

• Concevoir et implémenter des pipelines de données ETL/ELT avec PySpark et Databricks
• Construire et maintenir une architecture data lake de type médaillon (Bronze-Silver-Gold)
• Développer des jobs de transformation de données sur des jeux de données financiers
• Créer et maintenir des Azure Functions pour des intégrations API en temps réel avec des partenaires externes
• Mettre en place des contrôles qualité des données et des frameworks de tests automatisés
• Travailler avec Delta Lake pour un stockage de données conforme ACID
• Développer des APIs RESTful en Python pour la distribution de données
• Collaborer avec les équipes consommatrices de données pour comprendre leurs besoins
• Optimiser les jobs Spark et les fonctions serverless en termes de performance et de coûts
• Travailler avec des pipelines CI/CD sous Azure DevOps

Profil recherché

Expérience : 5 ans d'expérience minimum.

Compétences techniques attendues :
• Python (niveau avancé)
• PySpark pour le traitement distribué
• SQL pour la transformation et l'analyse de données
• Delta Lake
• Outils de qualité de code : ruff, mypy, black, pre-commit hooks
• Azure : Databricks, Azure DevOps, Function App, Pipelines
• Git et stratégies de branching
• Tests unitaires avec pytest

Compétences métier :
• Expérience dans les services financiers indispensable
• Une expérience en actifs alternatifs ou gestion de patrimoine est idéalement recherchée

Compétences / Qualités indispensables :

Python avancé, PySpark et Databricks, SQL, Architecture data lake et Delta Lake, Azure (Functions, DevOps, Pipelines), Expérience en services financiers

Compétences / Qualités qui seraient un + :

Expérience en actifs alternatifs ou gestion de patrimoine et très bon niveau d'anglais

Informations concernant le télétravail :

50%