Senior Data & Analytics Engineer - Databricks / Python / R - Freelance (H/F)

Taux journalier (TJM): 550
Dans un environnement orienté data et analytics, le Senior Data & Analytics Engineer intervient en tant qu'expert technique afin d'accompagner les équipes de développement dans la conception, l'amélioration et l'industrialisation de solutions de traitement et d'analyse de données sur Azure Databricks.
Ses principales missions sont les suivantes :
*
Support technique : accompagner les développeurs Python et R dans la résolution de problématiques techniques et l'utilisation des technologies data.
*
Revue et optimisation du code : analyser, relire, déboguer et améliorer le code existant afin d'en garantir la qualité, la performance et la maintenabilité.
*
Industrialisation des traitements : fiabiliser et industrialiser les workloads Databricks, les pipelines de données et les processus ETL/ELT.
*
Définition des bonnes pratiques : mettre en place des standards de développement, des modèles de code réutilisables et des stratégies de tests adaptées aux environnements de production.
*
Automatisation des déploiements : contribuer à la mise en œuvre des processus d'intégration et de déploiement continus (CI/CD), conformément aux standards techniques établis.
*
Qualité et gouvernance des données : garantir la qualité, la traçabilité et la cohérence des données, notamment à travers Delta Lake et Unity Catalog.
*
Optimisation des performances : analyser et optimiser les traitements Spark et PySpark afin d'améliorer leur efficacité et leur robustesse.
*
Accompagnement des migrations : évaluer la pertinence des migrations de traitements R vers Python ou SQL sur la base de critères objectifs, techniques et opérationnels.
*
Accompagnement au changement : favoriser l'adoption des outils et des standards de développement, assurer le transfert de connaissances et diffuser les bonnes pratiques.
*
Respect des exigences réglementaires : contribuer à la mise en œuvre de solutions analytiques fiables répondant aux exigences des environnements réglementés.
*
Expérience généralement supérieure ou égale à 7 ans en ingénierie logicielle ou en ingénierie des données.
*
Expérience confirmée sur Databricks et Apache Spark.
*
Expérience significative dans le développement, l'optimisation et l'industrialisation de traitements de données en production.
*
Expérience dans l'accompagnement technique de développeurs Python et R.
*
Une expérience dans des environnements analytiques réglementés constitue un atout.
*
Une expérience d'Azure Databricks et des environnements de gouvernance des données est appréciée.
Databricks et ingénierie des données
*
Maîtrise d'Azure Databricks, Delta Lake et Unity Catalog.
*
Bonne maîtrise de SQL et des Jobs/Workflows Databricks.
*
Solides connaissances des processus ETL/ELT et des architectures de traitement de données.
*
Maîtrise de l'optimisation des performances Apache Spark.
Python et PySpark
*
Expertise en Python et PySpark.
*
Maîtrise des pratiques de tests, de débogage et de revue de code.
*
Capacité à développer des solutions robustes, maintenables et adaptées à la production.
R et analyse de données
*
Bonne maîtrise de R et de son écosystème, notamment tidyverse, data.table et sparklyr.
*
Capacité à analyser, maintenir et optimiser des traitements existants en R.
Industrialisation et DevOps
*
Maîtrise de Git et d'Azure DevOps.
*
Bonne connaissance des pratiques CI/CD.
*
Capacité à automatiser les tests et les déploiements et à appliquer des standards de développement.
Qualité et gouvernance des données
*
Connaissance des principes de qualité, de traçabilité (data lineage) et de gouvernance des données.
*
Capacité à fiabiliser les pipelines et à garantir la cohérence des traitements analytiques.
COMPÉTENCES