Data Engineer Big Data Confirmé (H/F)

Dans le cadre du renouvellement d'un partenaire stratégique et de l'évolution de ses plateformes décisionnelles, notre client recherche un Data Engineer Big Data confirmé H/F pour rejoindre les équipes Risque et Finance de la filière Reporting Finance, Data & Marketing.

Vous évoluerez dans un environnement bancaire exigeant, où les enjeux de qualité des données, de performance, de sécurité, de traçabilité et de conformité réglementaire sont au cœur des projets.

Vous contribuerez à la conception, au développement et à l'industrialisation de traitements data à forte volumétrie permettant d'alimenter les datamarts réglementaires et les systèmes de reporting Risque et Finance.

Vos missions

Au sein d'une équipe Data Engineering, vous intervenez sur l'ensemble du cycle de vie des traitements de données.

Conception et développement

• Recueillir et analyser les besoins fonctionnels et techniques.

• Concevoir des architectures de traitement distribuées performantes et évolutives.

• Développer des pipelines batch robustes en environnement Big Data.

• Réaliser des traitements Spark en Scala et des transformations SQL avancées.

• Intégrer des données provenant de sources multiples et hétérogènes.

• Participer aux choix de conception et aux revues techniques.

Data Quality et gouvernance

• Mettre en œuvre des contrôles de qualité, de complétude et de cohérence des données.

• Identifier, analyser et corriger les anomalies de traitement.

• Garantir la traçabilité et la reproductibilité des flux de données.

• Assurer le respect des exigences réglementaires et de gouvernance des données.

Performance et optimisation

• Optimiser les traitements Spark et SQL sur des volumes importants.

• Travailler sur les problématiques de partitionnement, parallélisme et gestion des ressources.

• Améliorer les performances des traitements et réduire les temps d'exécution.

• Identifier et résoudre les goulots d'étranglement techniques.

Industrialisation et DevOps

• Concevoir et maintenir les workflows d'orchestration sous Apache Airflow.

• Participer à la mise en œuvre des pipelines CI/CD.

• Industrialiser les déploiements et automatiser les processus.

• Mettre en place les mécanismes de supervision, d'alerting et de gestion des erreurs.

• Garantir la robustesse, l'idempotence et la résilience des traitements.

Run et support de production

• Assurer le suivi quotidien et mensuel des traitements.

• Participer à l'analyse et à la résolution des incidents de production.

• Suivre les rejets de données et piloter leur correction.

• Contribuer à l'amélioration continue de la plateforme data.

Environnement techniqueTechnologies principales

• Scala

• Apache Spark

• SQL avancé

• Apache Airflow

• Hadoop / HDFS

• Apache Hive

• Presto / Trino

Industrialisation & DevOps

• Git

• CI/CD

• Automatisation des déploiements

• Monitoring & Logging

Technologies complémentaires

• Kafka

• Bases relationnelles (Oracle, PostgreSQL, SQL Server...)

• Bases NoSQL