Lead Data Ops - Freelance

Contexte: FREELANCE ET CDI

Un entrepôt de données centralisé dans le cloud (Snowflake), modélisé selon la méthodologie Data Vault 2.0. Il couvre l'ensemble des domaines fonctionnels du groupe (finance, clients, booking, carburant/navires…) et consolide les données de toutes les filiales à l'échelle mondiale.

L'équipe projet réunit plus de 10 consultants organisés en squads thématiques (Finance, Clients, Booking, Fuel & Vessels, Outillage) travaillant en télétravail complet. Chaque squad est pilotée par un squad lead. Le projet fonctionne en Agile/Scrum avec des sprints de 3 semaines.

Le Data Engineer est membre de la Dark Squad dédiée au bon fonctionnement technique du projet : orchestration, outils de développement, déploiement.

Missions

Outillage et automatisation

• Prise en charge de l’ensemble du backend de la solution

• Maintenance des outils CLI développés en interne : Framework (génération automatique de modèles dbt, fichiers YAML de tests, DAGs Airflow) et EDW20-Deployer (automatisation des étapes de déploiement)

• Maintenance des scripts d’exécution des flux de données et de la base de code du projet en général

• Conception et déploiement des outils IA (Github Copilot) au sein de la solution (Framework, déploiement)

Déploiement et orchestration (support)

• Support du Release Operator sur cycle de déploiement tri-hebdomadaire sur 3 environnements

• Gestion des DAGs Airflow : création, configuration, activation

• Participation au pipeline CI/CD GitLab / Jenkins / Docker / Kubernetes

Stack technique

• Snowflake

• dbt + AutomateDV

• Apache Airflow

• Python (CLI, scripts)

• SQL

• GitLab + Jenkins

• Docker · Kubernetes

• DBSchema

• Jira / Scrum

• Confluence

• Data Vault 2.0

• LLM (Copilot)