DATA ENGINEER (F/H)

Conçoit et livre des solutions logicielles fiables, innovantes, apportant de la valeur pour les utilisateurs et l’entreprise en s’appuyant sur les directives et l’accompagnement de son équipe de delivery pour développer sa maîtrise technique, sa compréhension fonctionnelle et sa collaboration avec les parties prenantes au sein de la plateforme Data

Description de l'emploi

En tant que Data Engineer Junior, vous contribuerez à la conception, au développement et à l'exploitation des produits Data de SNCF Connect. 

Vous participerez activement à la construction de solutions Data robustes, performantes et industrialisées tout en développant votre expertise technique.

Développement de pipelines de données 

• Concevoir, développer et faire évoluer des pipelines de données. 

• Participer à l'ingestion et à la transformation de données issues de multiples sources. 

• Développer des traitements batch et streaming. 

• Mettre en œuvre les transformations au sein de notre architecture Lakehouse. 

• Contribuer à l'organisation des données selon le modèle Médaillon (Bronze, Silver, Gold). 

Industrialisation et exploitation 

• Déployer et maintenir les traitements dans un environnement cloud AWS. 

• Participer à l'orchestration des workflows avec Airflow. 

• Contribuer à la supervision et à l'amélioration de la fiabilité des traitements. 

• Participer à la résolution des incidents de production et à l'amélioration continue de nos plateformes. 

Qualité et bonnes pratiques 

• Mettre en place des tests automatisés. 

• Participer aux revues de code. 

• Produire une documentation claire et maintenable. 

• Appliquer les standards d'ingénierie et de qualité de la Data Fabric. 

Collaboration et produit 

• Travailler en étroite collaboration avec les Analytics Engineers, Product Owners Data, Data Ops et les autres équipes de la Data Fabric. 

• Comprendre les besoins métiers et contribuer à leur traduction en solutions techniques. 

• Participer aux cérémonies Agile et à la vie de l'équipe. 

Profil Recherché

Issu(e) d'une formation supérieure en informatique, data ou ingénierie logicielle, vous avez acquis une expérience en Data Engineering vous permettant de contribuer à la conception, au développement et à l'exploitation de pipelines de données dans un environnement cloud. 

Vous souhaitez poursuivre votre montée en compétences au sein d'une équipe Data expérimentée et contribuer à des produits Data à fort impact.

Compétences attendues 

• Bonne maîtrise de Python et SQL. 

• Expérience dans le développement de pipelines de données. 

• Connaissance des architectures Lakehouse et du modèle Médaillon. 

• Expérience avec Spark pour la transformation de données. 

• Expérience avec DBT pour la modélisation et la transformation de données. 

• Utilisation d'Airflow ou d'un orchestrateur équivalent. 

• Connaissance des services AWS utilisés dans les plateformes Data (S3, Glue, Athena, EMR…). 

• Maîtrise de Git et des workflows GitLab (Merge Requests, CI/CD). 

• Sensibilité aux tests, à la qualité logicielle et à la documentation.
   

Compétences appréciées 

• Connaissances en Infrastructure as Code (Terraform). 

• Notions d'administration et d'exploitation cloud. 

• Connaissances Docker et Kubernetes. 

• Sensibilité aux sujets d'observabilité, de sécurité ou de FinOps. 

• Intérêt pour les bonnes pratiques de Software Engineering et de Data Engineering. 

• Curiosité technique, autonomie et envie d'apprendre dans un environnement exigeant et collaboratif. 

Part variable

Fourchette de salaire