Tech Lead Data (Snowflake, dbt, IA-augmented) H/F

Notre client dans le secteur Énergie et ressources naturelles recherche un/une Tech Lead Data (Snowflake, dbt, IA-augmented)H/F

Description de la mission :

Notre client, leader dans le transport du gaz, chercher à renforcer le pôle Data & Opérations de sa DSI.

Contexte et objectif de la mission

Le besoin porte sur un Tech Lead disposant d’une expertise solide sur Snowflake et Power BI afin de structurer l’architecture, garantir la performance des traitements et sécuriser les bonnes pratiques de modélisation. Une maîtrise avancée de dbt est indispensable pour encadrer la transformation des données, industrialiser les pipelines et assurer la qualité du code analytique.

Le rôle est clé pour piloter les choix techniques, accompagner les équipes et garantir la cohérence globale de la plateforme data. La mission inclut le pilotage de la migration des traitements Dataiku existants vers dbt/Snowflake dans des délais contraints, en s’appuyant sur le framework d’ingestion existant et sur des outils de développement assistés par IA (Claude Code ou équivalent) pour industrialiser la conversion.

Contexte et enjeux

Une plateforme de données analytics constitue un environnement technologique intégré permettant de collecter, centraliser, transformer, stocker et exploiter des données afin de produire des analyses, des indicateurs et des modèles de données.

Les enjeux mentionnés sont :
• Gouvernance et qualité des données : garantir la fiabilité, la traçabilité et la conformité réglementaire (RGPD, sécurité, gestion des accès)
• Performance et scalabilité : disposer d’une architecture capable d’absorber la croissance des volumes et des usages sans dégradation des performances
• Industrialisation et automatisation : standardiser les pipelines, optimiser les traitements et réduire les dépendances manuelles
• Accélération de la prise de décision : mettre à disposition des données consolidées, accessibles et exploitables pour le pilotage opérationnel et stratégique
• Création de valeur : permettre le développement d’analyses avancées, de cas d’usage data/IA et de nouveaux services à forte valeur ajoutée
• Modernisation : décommissionnement des traitements Dataiku au profit de dbt/Snowflake, avec un objectif de migration accélérée

Missions principales

Sous la responsabilité des architectes data, les prestations ont pour objectif :

Architecture & standards
• Définir et faire évoluer l’architecture data : modélisation, séparation production / hors production, gestion des environnements
• Mettre en place les standards de développement dbt : naming, tests, documentation, CI/CD
• Structurer les couches de données : raw, staging, marts, et assurer leur cohérence

Performance & optimisation
• Optimiser les requêtes et la consommation Snowflake : compute, storage, coûts
• Garantir la scalabilité des traitements et la robustesse des pipelines ELT
• Mettre en place des mécanismes de monitoring et d’alerting

Qualité & gouvernance
• Implémenter les tests dbt : data quality, freshness, integrity
• Assurer la traçabilité des transformations et la documentation des modèles
• Contribuer à la gouvernance des accès et à la sécurité des données

Leadership & coordination
• Encadrer les data engineers et accompagner leur montée en compétence
• Arbitrer les choix techniques et prioriser la dette technique
• Faire le lien entre les équipes métiers, data et infrastructure

Migration & accélération IA
• Analyser les flows Dataiku existants et définir la stratégie de conversion vers dbt : inventaire, priorisation, jalons
• Industrialiser la migration en s’appuyant sur le framework métadonnées existant et sur les outils de développement assistés par IA : génération de modèles dbt, tests, documentation
• Outiller l’équipe sur l’usage des outils IA de développement : conventions, revues assistées, bonnes pratiques

Livrables attendus

• Stratégie de modélisation des données : approche médaillon, data marts, conventions
• Standards de développement dbt et Power BI : naming, structure des projets, gestion des environnements
• Framework dbt structuré et documenté
• Mise en place de la CI/CD : tests, déploiement automatisé, gestion des branches
• Stratégie de gestion des rôles et accès Snowflake (RBAC) et Power BI Service
• Mise en œuvre des tests dbt : unicité, non-nullité, relations, fraîcheur des données
• Documentation technique et data lineage : catalogue des modèles et dépendances
• Indicateurs de qualité et de performance des pipelines
• Plan d’optimisation Snowflake et Power BI : gestion des warehouses, clustering, coûts, capacité
• Monitoring des usages et des performances
• Recommandations d’amélioration continue
• Roadmap technique de la plateforme
• Guidelines et bonnes pratiques partagées avec l’équipe
• Support aux squads data et validation des revues de code
• Animation de communauté de développement data
• Stratégie et plan de migration Dataiku vers dbt : inventaire, priorisation, jalons
• Flux migrés, testés et documentés dans le framework dbt existant
• Guidelines d’usage des outils IA de développement pour l’équipe

Profil recherché

Compétences fonctionnelles et techniques requises :
• Maîtrise des architectures data : data warehouse, data lake, approche médaillon
• Expertise sur les outils du stack : Snowflake, dbt, orchestration, CI/CD, Power BI Service, Airflow
• Mise en place de standards de développement et de bonnes pratiques
• Gestion de la qualité des données : tests, monitoring, traçabilité
• Sensibilité aux enjeux de sécurité, conformité et gestion des accès
• Gestion de la recette : stratégie de tests, exécution, bilan, gestion d’anomalies, pilotage d’une équipe recette
• Capacité à encadrer techniquement une équipe et à faire monter les profils en compétence
• Arbitrage des choix techniques et gestion de la dette technique
• Animation des revues de code et diffusion des standards
• Maîtrise de Power BI Service
• Expertise en base de données Snowflake
• Industrialisation des développements assistés par IA : Claude Code ou équivalent, génération dbt, revues, tests

Compétences souhaitées :
• Connaissance du système d’information et de son écosystème ainsi que du secteur de l’énergie
• Données référentielles, structures organisationnelles et géographiques
• Compréhension de flows Dataiku existants en vue de migration
• Conception d’agents IA pour l’automatisation DataOps : monitoring, qualité, incidents

Compétences / Qualités indispensables :

Snowflake, dbt, Architecture data, Power BI Service, CI/CD, Leadership technique

Compétences / Qualités qui seraient un + :

Aisance relationnelle Structure et synthèse