Data Engineer IoT & Real-Time - secteur Energie (F/H) - CDI

🚀 Data Engineer IoT & Real-Time (F/H)

Contexte de la mission

Au sein d’un environnement industriel de pointe, vous serez l'architecte et le garant de la chaîne de valeur de la donnée. Votre mission consiste à concevoir, déployer et maintenir des pipelines de données de bout en bout (temps réel et batch), permettant l'ingestion, la transformation et l'analyse massive de données IoT industrielles en production.

Vous rejoignez une équipe agile où la culture "Build-Run-Own" prévaut, avec un accent fort sur l'excellence logicielle et l'évolutivité des infrastructures Cloud.

Missions et Livrables

Architecture & Engineering

• Pipelines de données : Concevoir et implémenter des flux de traitement distribués (Spark, Flink) pour gérer des données de séries temporelles à grande échelle.

• Modélisation IoT : Développer et opérer des modèles d'actifs (Asset Modeling via AWS SiteWise) pour assurer une intégration fluide entre les capteurs et les plateformes analytiques.

• Stockage & Accès : Optimiser les patterns de stockage pour la performance (Lakehouse architecture, Delta Lake, InfluxDB).

Développement & Backend

• Services API : Développer des microservices Python robustes avec FastAPI pour exposer et traiter les données opérationnelles.

• Qualité & Ops : Assurer la haute disponibilité, l'observabilité (Grafana) et la qualité des données sur l'ensemble de la plateforme.

Cloud & DevOps

• Streaming & Orchestration : Déployer des architectures temps réel sur AWS Kinesis et orchestrer les workflows batch via Airflow.

• Infrastructure-as-Code : Gérer l'infrastructure via Terraform et Terragrunt dans une logique d'automatisation complète (GitLab CI/CD).

Environnement Technique

• Data & Streaming : Spark, Flink, Kinesis, Databricks, Delta Lake (Lakehouse architecture).

• Backend : Python, FastAPI, Scala.

• IoT & Time-Series : MQTT, AWS SiteWise, InfluxDB.

• DevOps & IaC : Terraform, Terragrunt, GitLab CI/CD, AWS (ECS, Fargate, Lambda).

• Orchestration & Monitoring : Airflow, Grafana, Cloudwatch.