Data Engineer / Data Platform Ops - Freelance

Contexte

Editeur de logiciels nantais, CA de 33 millions d’euros, comptant plus de 250 collaborateurs.

L’équipe Data est composée de 20 personnes (Product Manager, Designer, Analytics Engineer, Data Scientist, développeurs back et front) avec actuellement 3 Data Engineers.

Missions

• Concevoir des pipelines batch & streaming robustes, scalables et maintenables, pour alimenter les usages : pilotage, ML, visualisations

• Participer à la migration vers un traitement en temps réel (Kafka)

• Dockeriser les environnements Python et les intégrer aux pipelines CI/CD

• Concevoir et mettre en œuvre des architectures data et nouvelles briques

• Déployer des composants AWS avec Terraform en lien avec l’équipe plateforme (IAM, S3, EKS, ECS, etc.)

• Participer à la mise en place d’une observabilité Data (logs, qualité, monitoring)

• Accompagner les Data Analysts & Product Managers dans l’industrialisation des solutions

• Travailler dans une logique "data as a product" avec une forte proximité avec les usages

• Assurer la sécurité Data pour protéger les données clients

• Automatiser au maximum les processus Data Ops

Stack & Environnement

• Cloud : AWS (IAM, S3, RDS, EKS, ECS, DMS…)

• Data Engineering : Airflow, DBT, Kafka, Terraform

• Développement : Python (Poetry, Pytest, Black), SQL

• Stockage : Snowflake, PostgreSQL

• CI/CD : GitLab CI

• BI : Holistics, ThoughtSpot

• ML Ops : début d’implémentation, présence d’un Data Scientist + Ingénieur ML

Enjeux & projets

• Migration progressive vers du streaming (Kafka)

• Mise en place de solutions d’observabilité et de gouvernance data

• Automatisation et montée en puissance sur les sujets MLOps / IA générative

• Vision produit forte : la donnée est un levier métier et business clé

Conditions de travail

• Localisation : Nantes

• Temps plein : 2 jours de présence sur site, 3 jours de télétravail