Senior Cloud Data Platform Engineer AWS - Freelance

Contexte

Dans un contexte de forte croissance, la Data Platform Team chez notre client renforce son équipe afin de développer une plateforme robuste, industrialisée et réutilisable destinée aux équipes Data Engineering.

L'environnement comprend notamment :

• une architecture Data Mesh

• plusieurs Data Products

• des pipelines de données à très fort volume (plusieurs To/jour)

• une migration massive des pipelines Oracle On-Premise vers AWS (plus de 200 pipelines restants)

• une industrialisation forte via Infrastructure as Code

Le consultant rejoindra une équipe d'experts composée aujourd'hui de Data Platform Engineers, DevOps et développeurs Python.

Missions

Au sein de la Data Platform Team, vous interviendrez sur l'ensemble du cycle de vie de la plateforme Cloud AWS.

Vos principales responsabilités seront :

• Développement de la plateforme Cloud

  • Concevoir et développer des composants Infrastructure as Code réutilisables.

  • Développer des templates AWS CDK destinés aux équipes Data Engineering.

  • Mettre en œuvre les bonnes pratiques d'architecture Cloud.

• Architecture

  • Concevoir des Blueprints permettant de standardiser les développements Data.

  • Industrialiser le provisionnement des environnements AWS.

  • Participer aux choix d'architecture de la plateforme.

• Évolution de la plateforme

  • Maintenir les composants existants.

  • Faire évoluer les services AWS en fonction des nouveaux besoins.

  • Assurer le support technique auprès des équipes Data Engineering.

• Migration Cloud

  • Participer à la migration des pipelines Oracle On-Premise vers AWS.

  • Moderniser les traitements existants.

  • Optimiser les performances et les coûts de la plateforme.

• Automatisation

  • Développer des outils permettant d'automatiser les tâches récurrentes.

  • Participer à l'intégration de solutions IA / LLM afin d'accélérer certaines opérations de la plateforme.

• Qualité

  • Produire un code de haute qualité.

  • Respecter les standards de Software Craftsmanship.

  • Garantir la qualité via SonarQube et les bonnes pratiques CI/CD.

Environnement technique

Cloud

• AWS

• S3

• Lambda

• Athena

• Glue

• EMR

• Lake Formation

• CloudFormation

• CloudWatch

• Fargate

Infrastructure as Code

• AWS CDK (obligatoire)

• Terraform (apprécié)

Data

• Apache Airflow

• Apache Iceberg

• Parquet

• PySpark

• Pandas

Développement

• Python

• Ruff

• SonarQube

DevOps

• Jenkins

• CI/CD

• Docker

Compétences indispensables

• Minimum 8 ans d'expérience en Platform Engineering / Cloud Engineering.

• Excellente maîtrise d'AWS.

• Expertise Infrastructure as Code (AWS CDK impératif).

• Très bon niveau en Python.

• Solides compétences en architecture Cloud.

• Expérience de plateformes Data modernes.

• Mise en œuvre de pipelines CI/CD.

• Maîtrise des services AWS Data (Glue, Athena, S3, EMR, Lambda...).

• Bonne connaissance des bonnes pratiques de qualité logicielle.

• Expérience des environnements Agile Scrum.

Compétences appréciées

• Apache Spark / PySpark

• Pandas

• Terraform

• Apache Iceberg

• Docker

• LLM / IA appliquée à l'automatisation

• Data Mesh

• Data Catalog

Soft Skills

• Forte autonomie

• Esprit d'architecture

• Excellente communication

• Capacité à accompagner les équipes Data Engineering

• Esprit d'amélioration continue

• Rigueur technique

• Sens de l'industrialisation

• Force de proposition