Data Engineer expérimenté/Senior – Lyon – 1 an ferme - Freelance

Taux journalier (TJM): TJM 470 EUR/jour
Mission de Data Engineering au sein d'un grand compte du secteur Transport ferroviaire, basée à Lyon en mode hybride. Le périmètre technique couvre la conception et l'exploitation de pipelines de données, avec un environnement s'appuyant sur Python, Spark, Scala et des outils de CI/CD. La mission s'inscrit dans un cadre projet Agile/Scrum avec outillage Jenkins, Datadog et Jira.

• Concevoir et développer des pipelines de traitement de données en Python et Spark
• Implémenter et maintenir des traitements distribués en Scala sur environnement Spark
• Mettre en place et maintenir les pipelines CI/CD via Jenkins
• Développer des interfaces de visualisation et de restitution de données avec Streamlit
• Assurer la supervision et le monitoring des flux de données via Datadog
• Participer aux cérémonies Agile/Scrum et contribuer au suivi des tâches dans Jira
• Analyser et qualifier les anomalies détectées sur les pipelines de données
• Documenter les architectures de données et les processus de traitement mis en œuvre
• Python (développement de pipelines de traitement de données)
• Apache Spark (traitement distribué de données à grande échelle)
• Scala (développement de jobs Spark)
• Jenkins (mise en place et maintenance de pipelines CI/CD)
• Streamlit (développement d'interfaces de visualisation de données)
• Datadog (supervision et monitoring des flux de données)
• Jira (suivi de projet et gestion des tâches en contexte Agile)
• Scrum (participation aux cérémonies et rituels Agile)
• Kafka ou autre broker de messages (streaming de données)
• Docker / Kubernetes (conteneurisation et orchestration)
• SQL avancé (requêtes complexes et validation de données)
• Airflow (orchestration de workflows de données)
• Tests unitaires et automatisation (pytest, couverture de code)
• Expérience sectorielle Transport ou Industrie
• Anglais technique (lecture de documentation, échanges avec équipes)

Data Engineer confirmé avec minimum 7 ans d'expérience en ingénierie de données, maîtrisant Python, Spark et Scala dans un contexte de traitement distribué. Une expérience sur des environnements CI/CD (Jenkins) et de monitoring (Datadog) est attendue, idéalement dans un secteur industriel ou de transport. Autonomie, rigueur dans la gestion des pipelines de données et capacité à s'intégrer dans une équipe Agile sont indispensables.