Data Engineer Senior H/F

Détail du poste

Dans le cadre du développement d'une plateforme data orientée IoT industriel, notre client recherche un Data Engineer Senior pour concevoir et faire évoluer des pipelines de données à forte volumétrie, en environnement cloud AWS.
Vous interviendrez sur des architectures modernes combinant temps réel, batch et analytics avancé, avec une forte exigence en performance, scalabilité et qualité des données.
\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_
Vos missions
Data Engineering & pipelines
-Concevoir et maintenir des pipelines de données end-to-end (batch et temps réel)
-Gérer l'ingestion, la transformation et la mise à disposition des données IoT
-Développer des traitements distribués avec Spark / Flink
-Optimiser les performances et la scalabilité des flux de données
Architecture & stockage
-Concevoir des architectures data scalables (Lakehouse, time-series, données opérationnelles)
-Mettre en place des solutions de stockage adaptées aux usages analytiques
-Participer à la gouvernance et à la structuration des données
API & services data
-Développer des API robustes en Python (FastAPI)
-Exposer les données et services pour les besoins métiers et analytiques
Streaming & orchestration
-Implémenter des architectures temps réel avec AWS Kinesis
-Orchestrer les workflows batch avec Airflow
Qualité & observabilité
-Garantir la qualité, la fiabilité et la traçabilité des données
-Mettre en place des outils de monitoring et d'observabilité (Grafana, etc.)
DevOps & industrialisation
-Déployer et maintenir les infrastructures via Terraform / Terragrunt
-Mettre en oeuvre les bonnes pratiques CI/CD (GitLab)
-Adopter une approche build-run-own des services data
Collaboration
-Travailler en étroite collaboration avec les équipes Data, Produit et Backend
-Traduire les besoins métiers en solutions data industrialisées
-Participer à un environnement Agile orienté amélioration continue
\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_
Environnement technique
Cloud & infrastructure
-AWS : S3, Lambda, Kinesis, ECS, Fargate, CloudWatch
-Architectures serverless et temps réel
Data Platform
-Databricks
-Delta Lake / Lakehouse
Streaming & traitement distribué
-Apache Spark
-Apache Flink
Données
-SQL (bases relationnelles)
-Données temporelles (time-series)
IoT
-MQTT
-AWS IoT / SiteWise
-Modélisation d'actifs
Monitoring
-Grafana
-InfluxDB
Développement
-Python (FastAPI)
-Scala
DevOps
-Terraform / Terragrunt
-GitLab CI/CD
Orchestration
-Airflow
Compétences requises : Profil recherché
-Minimum 6 ans d'expérience en Data Engineering
-Expertise confirmée sur AWS et architectures data modernes
-Solide expérience en Spark / traitement distribué
-Maîtrise des pipelines temps réel et batch
-Expérience sur des environnements IoT ou industriels appréciée
-Forte sensibilité aux problématiques de qualité et observabilité des données
\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_
Soft skills
-Esprit analytique et orienté solution
-Autonomie et rigueur
-Capacité à travailler dans des environnements complexes
-Bon relationnel et esprit d'équipe