Data Engineer & Lakehouse & Data Platform AWS ( spark & DBT & Iceberg & Python & Médaillon )

Contexte
Dans le cadre du développement de son pôle Data Services, le client recherche un Data Engineer Senior pour concevoir, industrialiser et faire évoluer ses solutions Data et contribuer à sa stratégie Lakehouse.

Missions

• Concevoir, développer et optimiser des pipelines Data à grande échelle.

• Mettre en place des flux batch, streaming et API.

• Développer les transformations selon une architecture Médaillon (Bronze / Silver / Gold).

• Industrialiser les pipelines avec Spark, DBT et Iceberg.

• Contribuer à l’évolution de l’architecture Lakehouse.

• Orchestrer les workflows avec Airflow.

• Déployer et maintenir les solutions sur AWS.

• Mettre en œuvre l’Infrastructure as Code avec Terraform.

• Garantir la qualité, la supervision et l’observabilité des traitements.

• Participer à la documentation, à la gestion des incidents et à l’amélioration continue.

Profil recherché

• 8 ans minimum d’expérience en Data Engineering.

• Solide expérience en Big Data et architecture Lakehouse.

• Forte capacité d’analyse et compréhension des enjeux métiers.

• Autonomie, rigueur et culture de l’industrialisation.

Compétences indispensables

DBT • Apache Iceberg • AWS (S3, Glue, EMR) • Python • Spark • Modélisation Médaillon

Environnement technique

AWS · Spark · Python · DBT · Iceberg · Airflow · Terraform · Docker · Kubernetes · Trino/Starburst · Datadog

Type de profil : Senior / Expert Data Engineering – orienté Lakehouse & Data Platform.

Profil recherché

Contexte
Dans le cadre du développement de son pôle Data Services, le client recherche un Data Engineer Senior pour concevoir, industrialiser et faire évoluer ses solutions Data et contribuer à sa stratégie Lakehouse.

Missions

• Concevoir, développer et optimiser des pipelines Data à grande échelle.

• Mettre en place des flux batch, streaming et API.

• Développer les transformations selon une architecture Médaillon (Bronze / Silver / Gold).

• Industrialiser les pipelines avec Spark, DBT et Iceberg.

• Contribuer à l’évolution de l’architecture Lakehouse.

• Orchestrer les workflows avec Airflow.

• Déployer et maintenir les solutions sur AWS.

• Mettre en œuvre l’Infrastructure as Code avec Terraform.

• Garantir la qualité, la supervision et l’observabilité des traitements.

• Participer à la documentation, à la gestion des incidents et à l’amélioration continue.

Profil recherché

• 8 ans minimum d’expérience en Data Engineering.

• Solide expérience en Big Data et architecture Lakehouse.

• Forte capacité d’analyse et compréhension des enjeux métiers.

• Autonomie, rigueur et culture de l’industrialisation.

Compétences indispensables

DBT • Apache Iceberg • AWS (S3, Glue, EMR) • Python • Spark • Modélisation Médaillon

Environnement technique

AWS · Spark · Python · DBT · Iceberg · Airflow · Terraform · Docker · Kubernetes · Trino/Starburst · Datadog

Type de profil : Senior / Expert Data Engineering – orienté Lakehouse & Data Platform.