Consultant Architecte Data LakeHouse (Python, Cloudera, Iceberg)

Nous recherchons Consultant Architecte Data LakeHouse (Python, Cloudera, Iceberg) pour une mission de longue durée à Vélizy dans le 78.

Au sein de la Data Factory, vous interviendrez sur des problématiques de conception d'architecture Data, d'ingénierie des données et d'intégration de jeux de données dans un environnement Big Data & Cloud.

En tant que Data Engineer Big Data & Cloud, avec une dimension Data Architecture, vous contribuerez à la conception, au développement et à l'évolution de l'architecture Data LakeHouse (DLH), ainsi qu'à la préparation et à l'intégration des données nécessaires au projet PRM.

Dans ce contexte, vos missions seront notamment les suivantes :

• Architecture Data : participer à la conception, à la mise en œuvre et à l'évolution de l'architecture Data LakeHouse sur une plateforme Data hybride basée sur Cloudera.

• Ingénierie des données : concevoir, développer et optimiser des pipelines ETL en Python et PySpark pour assurer la transformation, la préparation et l'intégration des données.

• Gestion des données : mettre en œuvre et exploiter des tables Apache Iceberg afin de garantir une gestion performante et structurée des jeux de données.

• Migration et interopérabilité : faire évoluer les systèmes de données existants pour assurer leur compatibilité avec le projet PRM et faciliter leur migration.

• Modélisation des données : définir et maintenir des modèles de données réutilisables, cohérents et optimisés, en privilégiant la non-redondance et l'unicité des définitions.

• Qualité et gouvernance des données : garantir la qualité, la cohérence et la fiabilité des données intégrées, dans le respect des normes et bonnes pratiques d'ingénierie des données.

• Sécurité et conformité : intégrer les exigences de sécurité, de conformité réglementaire (notamment RGPD et réglementation applicable aux données et à l'intelligence artificielle) ainsi que les enjeux de propriété intellectuelle, y compris pour les données provenant de fournisseurs tiers.

• Collaboration transverse : travailler en étroite collaboration avec les architectes applicatifs et techniques, les Data Scientists, les Data Analysts ainsi que les équipes Juridique et Recherche pour valider les modèles et les contenus de données produits.

Profil recherché

Tout au long de la prestation, les livrables suivants seront attendus :

• Développement des jobs ETL permettant la récupération, la transformation et la préparation des données en vue de leur intégration dans le Data LakeHouse (DLH).

• Développement des jobs ETL dédiés à la préparation et à l'export des données vers le projet PRM.

• Documentation technique associée, comprenant notamment :

  • Les modèles de données ;

  • Les schémas de données ;

  • La documentation des flux d'intégration ;

  • Les éléments techniques nécessaires à la maintenance et à l'évolution des traitements.