Data Engineer - Freelance

Dans le cadre du développement de ses plateformes data industrielles, notre client recherche un Data Engineer Senior afin d’intervenir sur la conception, le développement et l’industrialisation de pipelines de données temps réel et batch autour de cas d’usage IoT industriels.

Le consultant intégrera une équipe Data & Engineering en environnement Agile et contribuera à la mise en place de solutions scalables permettant la collecte, la transformation, l’exposition et l’analyse de données opérationnelles issues d’environnements industriels.

La mission s’inscrit dans une logique Build & Run avec une forte dimension architecture, streaming temps réel, cloud AWS et industrialisation des traitements data.

Missions principales

• Concevoir, développer et maintenir des pipelines de données batch et temps réel

• Développer des architectures data distribuées basées sur Spark et/ou Flink

• Concevoir et optimiser des modèles de données orientés IoT et données temporelles

• Développer des APIs et services Python (FastAPI) pour l’exposition et le traitement des données

• Mettre en place des workflows d’orchestration avec Airflow

• Déployer et maintenir des architectures streaming temps réel sur AWS (Kinesis, Lambda, ECS, Fargate…)

• Participer à la conception de plateformes Lakehouse et à l’administration Databricks

• Garantir la qualité, la supervision et l’observabilité des pipelines data

• Participer à la mise en œuvre des pratiques DevOps et CI/CD

• Déployer l’infrastructure via Terraform / Terragrunt

• Collaborer avec les équipes Data Analysts, Produit et Backend pour répondre aux besoins métiers

• Participer aux choix d’architecture et aux réflexions de design technique

• Assurer la maintenance évolutive et corrective des services data en production

Environnement technique

Data Engineering & Streaming

• Apache Spark

• Apache Flink

• Databricks

• Delta Lake / Lakehouse

Cloud & AWS

• AWS S3

• Lambda

• Kinesis

• ECS / Fargate

• CloudWatch

• AWS IoT Services

• AWS SiteWise

Développement

• Python

• Scala

• FastAPI

Orchestration & DevOps

• Airflow

• Terraform / Terragrunt

• GitLab CI/CD

• Git

Monitoring & Observabilité

• Grafana

• InfluxDB

Data & IoT

• MQTT

• Time-series data

• Asset Modeling

• SQL / bases relationnelles