Data Engineer Hadoop / PySpark — Datalake & Ingestion

Au sein de la DSI Corporate d'un grand groupe bancaire, la direction informatique fournit l'ensemble des solutions applicatives pour les entités opérationnelles et les directions centrales du siège.

Dans ce cadre, nous recherchons un Data Engineer Hadoop / PySpark pour faire évoluer le Datalake du domaine. En lien étroit avec les équipes de production applicative et DevOps, vous prendrez en charge les évolutions techniques des flux de données et la mise en œuvre de nouvelles ingestions.

Missions

• Ingestion & Data Prep : Mettre en œuvre de nouvelles alimentations de données et réaliser les travaux de préparation et transformation (Data Prep).

• Maintenance & Évolution : Maintenir et faire évoluer les pipelines de données existants (PySpark, Shell scripting).

• Interface DevOps : Structurer et transmettre à l'équipe DevOps les demandes relatives aux évolutions d'infrastructure et de plateforme.

• Documentation : Rédiger des spécifications techniques claires et précises.

Profil recherché

Compétences techniques clés (Hard Skills) :

• Savoir-faire Data & Big Data : Excellente maîtrise de l'écosystème Hadoop, du développement en Python / PySpark et de Hive.

• Outillage & Scripting : Solides connaissances en SQL, Shell (Unix/Linux), Git, Jenkins et Jira.

• Bonus appréciés : Connaissances ou expériences sur Indexima, Alteryx, Altair, GCP / BigQuery, ou sur l'utilisation de bibliothèques Python orientées API.

Soft Skills & Organisation :

• Langues : Anglais courant (écrits et oral) indispensable pour collaborer au quotidien avec des équipes IT basées à l'international (Porto).

• Méthodologie : Pratique avérée des environnements Agiles (Scrum).

• Savoir-être : Autonomie, force de proposition, curiosité technique, dynamisme et très bon relationnel.