Data Engineer PySpark confirmé, équipe AILP / Branchements - Lyon F/H

Descriptif du poste:\\n\\nL'équipe développe et exploite des produits data liés aux activités de branchement et à la gestion des adresses.\\nLe Data Engineer interviendra sur des pipelines PySpark traitant plusieurs dizaines de millions de lignes. Les traitements contribuent notamment à maintenir des données de qualité autour de plus de 25 millions d'adresses et de plus de 40 millions de clients.\\nLa mission s'inscrit dans un contexte de développement produit, de maintien en conditions opérationnelles et de migration progressive vers Databricks.\\nLa personne retenue travaillera avec les Data Scientists, le Tech Lead, le DevOps et les équipes métiers.\\nMissions principales\\nDéveloppement et optimisation des pipelines\\n\* \\nConcevoir et développer des pipelines PySpark traitant de gros volumes de données.\\n\* \\nMaintenir et faire évoluer les chaînes de traitement existantes.\\n\* \\nCorriger les anomalies rencontrées en production.\\n\* \\nOptimiser les performances et la consommation des ressources.\\n\* \\nPréparer les traitements pour leur exécution dans des environnements de test, préproduction et production.\\n\* \\nMettre à jour la documentation technique et fonctionnelle associée.\\nSupervision et exploitation\\n\* \\nMettre en place des outils de supervision technique et de suivi de la qualité des données.\\n\* \\nConstruire les tableaux de bord nécessaires au suivi des traitements.\\n\* \\nParticiper au run des produits en production.\\n\* \\nAnalyser régulièrement les indicateurs de performance.\\n\* \\nContribuer à la gestion et à la résolution des incidents.\\nArchitecture et accompagnement\\n\* \\nProposer des architectures de traitements et de modèles de données.\\n\* \\nParticiper à la rédaction des dossiers techniques, d'urbanisme et d'architecture.\\n\* \\nAccompagner les Data Scientists dans l'industrialisation de leurs développements.\\n\* \\nContribuer à la définition de la roadmap d'industrialisation.\\n\* \\nConseiller l'équipe sur les choix techniques et les pratiques de développement.\\nMigration vers Databricks\\n\* \\nTester les pipelines sur un environnement Databricks.\\n\* \\nPréparer les schémas et supports de migration.\\n\* \\nAdapter les traitements aux contraintes du cloud.\\n\* \\nParticiper à la migration effective des traitements.\\nEnvironnement technique\\nPython / PySpark / Spark / Hadoop / HDFS / Databricks / Delta Lake / Airflow / PostgreSQL / GitLab / GitLab CI/CD / Jira / Confluence / Power BI.\\nL'environnement actuel repose principalement sur Hadoop / HDFS. La cible prévoit une utilisation accrue de Databricks et Delta Lake à partir de 2027.\\n\\nProfil recherché:\\n\\n \\n\* \\nFormation et expérience en Data Engineering.\\n\* \\nExpérience significative en PySpark et sur des traitements de gros volumes.\\n\* \\nExpérience de Spark en production, sur Databricks et/ou Hadoop.\\n\* \\nMaîtrise du monitoring, du run, de la gestion des incidents et de la qualité des données.\\n\* \\nBonne maîtrise de Python, SQL et des pratiques CI/CD.\\n\* \\nAutonomie, rigueur et bonnes capacités de communication.\\nUne expérience sur les données d'adresses ou les données spatiales est un plus.\\nLe poste est ouvert uniquement aux candidats autorisés à travailler en France.