Data Engineer Big Data / PySpark

Contexte:

Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle.

Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native.

Vos missions:

• Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark.

• Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data.

• Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau.

• Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift.

• Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications.

• Participer à l'évolution des traitements Spark et des datasets.

• Déployer et maintenir les applications via Helm.

• Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.).

• Gérer les environnements de déploiement continu avec GitLab.

• Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion).

• Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme.

Environnement technique :

• Python

• PySpark

• Apache Spark

• Scala

• Pandas

• Hadoop / HDFS

• Tableau Software

• Kubernetes

• OpenShift

• Helm

• GitLab

• Docker

• Airflow

• MinIO

• MySQL

• Data Lake

• Parquet