Senior Cloud Data Platform Engineer AWS H/F

Contexte de la mission

Dans le cadre du développement et de l'évolution d'une plateforme Data Cloud basée sur AWS, nous recherchons un Senior Cloud Data Platform Engineer capable de concevoir, industrialiser et maintenir une infrastructure Data moderne, sécurisée et évolutive.

Le consultant interviendra au sein d'équipes pluridisciplinaires composées d'Architectes Cloud, Data Engineers, DevOps Engineers et équipes Support afin de fournir une plateforme robuste permettant l'ingestion, le traitement, le stockage et l'exploitation de données à grande échelle.

Missions principales1. Conception et industrialisation de l'infrastructure Cloud

• Concevoir et développer des composants Infrastructure as Code (IaC) réutilisables.

• Créer et maintenir des templates avancés permettant le provisionnement automatisé des ressources AWS.

• Définir les standards techniques et les bonnes pratiques d'architecture Cloud.

• Garantir la conformité, la sécurité et la gouvernance des infrastructures déployées.

• Participer aux choix d'architecture et aux revues techniques.

Livrables attendus

• Templates AWS CDK et CloudFormation.

• Modules d'infrastructure réutilisables.

• Documentation d'architecture.

• Standards de développement et de déploiement.

2. Architecture et développement de la Data Platform

• Concevoir des blueprints techniques destinés aux équipes Data Engineering.

• Mettre en œuvre des architectures Data Lake et Lakehouse sur AWS.

• Définir les modèles de stockage optimisés pour la performance et la scalabilité.

• Concevoir des pipelines de données performants et résilients.

• Accompagner les projets métier dans leur intégration à la plateforme.

Livrables attendus

• Architectures de référence.

• Blueprints applicatifs.

• Pipelines Data industrialisés.

• Guides d'intégration et d'exploitation.

3. Data Engineering & Lakehouse

• Participer à la conception et au déploiement des traitements de données.

• Optimiser les performances des pipelines de transformation.

• Mettre en œuvre des formats de stockage analytiques performants.

• Développer des solutions de gouvernance et de catalogage des données.

• Garantir la qualité et la disponibilité des données.

Technologies associées

• Apache Iceberg

• Parquet

• AWS Glue

• AWS Athena

• AWS Lake Formation

• PySpark

• AWS EMR

4. Exploitation et amélioration continue

• Assurer le maintien en conditions opérationnelles des plateformes existantes.

• Superviser les composants de la plateforme Data.

• Participer à la résolution des incidents et problèmes.

• Optimiser les coûts et les performances des ressources AWS.

• Améliorer continuellement les processus d'industrialisation.

Outils associés

• AWS CloudWatch

• Jenkins

• SonarQube

• Ruff

5. Support et accompagnement des équipes

• Accompagner les Data Engineers dans l'utilisation de la plateforme.

• Apporter une expertise technique sur les sujets Cloud et Data.

• Participer aux ateliers d'architecture.

• Réaliser des formations et transferts de compétences.

• Contribuer à la diffusion des bonnes pratiques au sein des équipes.