Data Engineer Senior - Freelance - Freelance

Taux journalier (TJM): 650

Contexte

Le présent cahier des charges fait état des attentes d'un acteur majeur des infrastructures de télécommunications concernant une prestation de Data Engineering dans le cadre de la construction de sa plateforme data.
Cette entreprise a engagé une transformation data en profondeur, avec pour objectif de disposer d'une plateforme data moderne, fiable et évolutive, capable de couvrir des besoins allant du reporting standard à l'exploration analytique avancée.
L'architecture retenue est hybride, combinant une infrastructure on-premise et une plateforme cloud (Snowflake). La mise en place est en cours, en s’appuyant sur de l’expertise.
La chaîne technique est basée sur des outils modernes et open source : DLT pour l'ingestion, DBT Core pour les transformations, Dagster pour l'orchestration, PostgreSQL comme destination on-premise et Snowflake pour le cloud. La restitution s'appuie sur Power BI.
La plateforme est en cours de construction. Le prestataire vient renforcer la capacité de delivery technique.

Missions

• Renforcer l'équipe data avec un Data Engineer confirmé, maîtrisant la stack technique retenue (Python et DBT au minimum, DBT et Dagster si possible).
• Contribuer à l'administration courante de Snowflake (connaissance minimale appréciée).
• Travailler en lien direct avec l'équipe interne et documenter le travail de manière structurée.
• Couvrir l'ensemble de la chaîne technique : connexion aux sources, modélisation, tests, documentation, mise à disposition des données transformées pour les équipes BI.
• Devenir le référent de l’équipe sur l'usage quotidien de la plateforme.

Domaines par ordre de priorité :

Transformation & modélisation (DBT) — obligatoire

• Conception et implémentation des modèles DBT en couches : staging, intermédiaire, datamarts
• Application des conventions de nommage et d'organisation des couches
• Rédaction des tests de qualité, technique, et avancés fonctionnellement
• Maintenance de la documentation DBT : descriptions, lineage, dictionnaire de données
• Gestion des évolutions de schéma et compatibilité ascendante

Ingestion & pipelines (DLT) — utile

• Développement et maintenance des pipelines d'ingestion avec DLT
• Connexion aux sources : APIs, bases de données on-premise (Oracle, PostgreSQL), fichiers
• Sources principales : applications SaaS (Servicenow, Salesforce, Workday…) et SI internes (SI des ventes, Référentiel technique…)
• Mise en place des mécanismes de chargement incrémental et de gestion des doublons
• Gestion des schémas déclaratifs et des évolutions de schéma
• Maîtrise du Python obligatoire

Orchestration (Dagster) — utile

• Conception des assets et jobs Dagster pour orchestrer les pipelines de bout en bout
• Mise en place du monitoring des exécutions : alertes, logs, stratégies de retry
• Définition des dépendances entre assets et des stratégies de scheduling
• Maîtrise du Python obligatoire
• À défaut, une connaissance de solution similaire (Airflow) est appréciée

Administration Snowflake — secondaire

• Gestion des warehouses : sizing, suspension automatique, allocation par type d'usage
• Sécurité et gestion des accès : modèle RBAC, gestion des rôles et des droits
• Supervision des coûts et de la consommation (crédits Snowflake)

Compétences requises

• Python : Indispensable
• DBT core : Indispensable
• Git / CI-CD : Indispensable
• DLT : Souhaitée
• Dagster : Souhaitée
• Snowflake : Appréciée
• Power BI : Appréciée

Compétences comportementales attendues

• Rigueur et sens de la documentation
• Autonomie et sens du dialogue dans un environnement en construction lui-même situé dans un écosystème structuré
• Pédagogie et capacité à faire monter en compétences l'équipe actuelle
• Capacité à collaborer avec des profils non techniques (métier, MOA)
• Esprit de synthèse pour rendre compte de l'avancement