Data Engineer Python SQL (H/F) - Freelance

Contexte de la mission

Dans le cadre de l’évolution de sa plateforme DATA, notre client recherche un(e) Data Engineer confirmé(e) pour renforcer son équipe technique DATA.

L’environnement DATA est actuellement en pleine transformation avec une migration d’une architecture on-premise basée sur Cloudera/Hadoop vers Snowflake. Les traitements concernent des données variées : audience web/mobile, marketing digital, données clients, contenus éditoriaux ou encore logistique.

La mission s’inscrit dans une démarche long terme afin de renforcer durablement l’équipe DATA technique.

Vos missions

Au sein d’une équipe DATA expérimentée et collaborative, vous interviendrez notamment sur :

• Le développement de flux d’ingestion et de transformation de données

• La migration de traitements Cloudera / Hive / Hadoop vers Snowflake

• Le développement de traitements en Python, SQL et éventuellement PySpark

• L’intégration de données issues de multiples sources :

  • API

  • Kafka

  • RabbitMQ

  • Fichiers plats

  • Bases de données relationnelles

• Le suivi de production et la résolution d’incidents

• La relecture de code et les contributions via Git

• La rédaction de documentation technique et de procédures d’exploitation

Livrables attendus

• Développements Python / SQL / PySpark industrialisés

• Flux d’ingestion et de transformation fiables et maintenables

• Migration de traitements vers Snowflake

• Contrôles de qualité et de cohérence des données

• Correctifs d’incidents de production

• Documentation technique complète

• Code versionné et intégré via Git

Environnement technique

Compétences indispensables

• Python

• SQL

• ETL / ELT

• Git

• Analyse et correction d’incidents de production

• Expérience Data Engineering

Compétences appréciées

• Snowflake ou BigQuery

• PySpark / Spark

• Hive / Hadoop / Cloudera

• Kafka / RabbitMQ

• GitLab CI

• Kubernetes