Data Engineer Senior - Databricks - Aws H/F

Détail du poste

Le besoin

Localisation : La Garenne-Colombes - télétravail hybride
Démarrage : fin novembre 2026
Expérience : 5 ans minimum
Type de contrat : freelance

Contexte

Dans le cadre du renforcement de ses équipes, un grand groupe du secteur de l'énergie recherche un(e) Data Engineer Senior au sein de sa Direction Data & IT, pour son activité dédiée aux particuliers.

Le poste s'inscrit dans une équipe Agile de 14 personnes, dont 7 Data Engineers, en charge du traitement des données de consommation des clients et de leur mise à disposition sur les canaux digitaux. L'équipe fait partie d'un Train SAFe synchronisé avec d'autres Trains et équipes Data.

Missions

- Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers
- Concevoir et faire évoluer les architectures de données selon l'approche Medallion (Bronze, Silver, Gold) sur Databricks
- Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance
- Optimiser les performances des traitements Spark et Delta Lake, en termes de temps d'exécution et de coûts
- Concevoir, développer et maintenir des APIs d'exposition et de consommation des données
- Mettre en place des dispositifs de contrôle qualité des données, de monitoring et d'alerting
- Assurer le développement, les tests et le déploiement des composants via des chaînes CI/CD
- Analyser et résoudre les incidents de production et assurer le suivi des actions correctives
- Rédiger et maintenir la documentation technique
- Participer aux cérémonies SAFe (PI Planning, refinements, macro-chiffrage, rétrospectives)
- Contribuer aux choix techniques et à l'amélioration continue de la plateforme
- Accompagner l'équipe dans l'adoption des bonnes pratiques de Data Engineering

Environnement technique

- Langages : Python, SQL
- Traitement de données : Spark, PySpark, DBUtils
- Plateforme : Databricks, Unity Catalog, Delta Lake
- Orchestration : Airflow (migration en cours vers Databricks Workflows)
- APIs et tests : FastAPI, Pytest
- Cloud : AWS (Lambda, S3, ECS, Secrets Manager)
- Outillage : Git, CI/CD

Profil recherché

- Expérience d'au moins 5 ans en Data Engineering
- Expérience confirmée en conception et développement de pipelines de données
- Maîtrise de Python, SQL et des bibliothèques associées (PySpark, DBUtils, Boto3)
- Maîtrise de la configuration des ressources Databricks sur AWS
- Solides connaissances en modélisation, performance et qualité des données
- Connaissance des principes d'API REST et des architectures orientées services
- Expérience significative sur l'environnement AWS
- Capacité d'analyse et de résolution d'anomalies en production
- Expérience en tant que Tech Lead
- Pratique du Data Engineering assisté par l'IA

Atouts appréciés

- Expérience en traitement de données en temps réel (streaming)
- Capacité à comprendre les enjeux métiers et à les traduire en solutions techniques

Le profil recherché

Profil recherché

Mais aussi...

Taux journalier :550.css-11k7fwb{display:inline-block;white-space:nowrap;vertical-align:middle;-webkit-padding-start:var(--chakra-space-1-5);padding-inline-start:var(--chakra-space-1-5);-webkit-padding-end:var(--chakra-space-1-5);padding-inline-end:var(--chakra-space-1-5);text-transform:none;font-size:var(--chakra-fontSizes-xs);border-radius:var(--chakra-radii-md);font-weight:var(--chakra-fontWeights-semibold);background:var(--chakra-colors-success-200);color:var(--chakra-colors-success-700);box-shadow:var(--badge-shadow);padding:4px 6px;--badge-bg:var(--chakra-colors-success-100);--badge-color:colors.success.800;}.chakra-ui-dark .css-11k7fwb:not([data-theme]),[data-theme=dark] .css-11k7fwb:not([data-theme]),.css-11k7fwb[data-theme=dark]{--badge-bg:rgba(226, 243, 232, 0.16);--badge-color:var(--chakra-colors-success-200);}Cette offre est à 0% de commission .css-74lrwu{width:1em;height:1em;line-height:1em;-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;color:currentColor;font-size:16px;display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-transition:.1s ease-in-out color;transition:.1s ease-in-out color;}.css-74lrwu *{-webkit-transition:.1s ease-in-out fill;transition:.1s ease-in-out fill;fill:var(--chakra-colors-rythm-600);}