Data Engineer AWS H/F

Contexte

Dans le cadre du développement d'une plateforme Data internationale hébergée sur AWS, nous recherchons un(e) Consultant(e) Data Engineering AWS afin de renforcer une équipe en charge de l'industrialisation des pipelines de données.

La plateforme a pour objectif de répondre aux besoins analytiques d'équipes internationales et locales en garantissant une gouvernance centralisée tout en permettant des adaptations spécifiques selon les entités. L'environnement technique repose principalement sur AWS (S3, Glue, Redshift) avec Power BI comme solution de restitution des données.

Les premières données ont déjà été migrées vers le Cloud et l'équipe poursuit aujourd'hui l'industrialisation des traitements autour de plusieurs axes :

• Intégration de nouvelles sources de données ;

• Amélioration continue de la qualité des données ;

• Optimisation de l'accessibilité et de la disponibilité des données pour les utilisateurs métiers.

Vous intégrerez une équipe Data Factory organisée autour des pôles Plateforme, Data Engineering et BI & Data Quality, dans un environnement Agile et collaboratif.

Missions

En tant que Consultant Data Engineering AWS, vous participerez à la conception, au développement et à la maintenance des pipelines de transformation de données sur AWS.

À ce titre, vos principales responsabilités seront :

• Développer des jobs ETL AWS Glue en Python et PySpark ;

• Maintenir, faire évoluer et optimiser les pipelines de données existants ainsi que les composants génériques associés ;

• Participer à la modélisation des données en fonction des besoins analytiques ;

• Contribuer à l'amélioration continue de la qualité du code, des bonnes pratiques de développement et de la documentation technique ;

• Mettre en place et améliorer les mécanismes de supervision, de gestion des erreurs et de monitoring des traitements ;

• Collaborer avec les différentes équipes techniques afin de garantir la fiabilité et la performance de la plateforme Data.

Environnement technique

• AWS Glue

• Python

• PySpark

• Amazon S3

• AWS Lambda

• AWS Step Functions

• AWS IAM

• Amazon CloudWatch

• Amazon Redshift

• Power BI

Compétences appréciées

• Expérience des pipelines CI/CD appliqués aux projets Data ;

• Bonne maîtrise de SQL ;

• Connaissance des bonnes pratiques d'industrialisation des traitements de données.

Compétences / Qualités indispensables :

AWS Glue, Python, PySpark, Amazon S3, AWS Lambda, AWS Step Functions, AWS IAM, Amazon CloudWatch, Amazon Redshift, Power BI