Data Engineer Hadoop / PySpark - Freelance

Taux journalier (TJM): 400

Contexte

Le client recherche un profil majeur Hadoop et mineur GCP pour intervenir sur le datalake CIO Office. Le consultant travaillera en lien avec l'équipe de production applicative et devops dans un environnement dynamique et en constante évolution.

Missions

• Mettre en œuvre de nouvelles ingestions de données, data prep et transformations
• Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark + shell scripting)
• Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme
• Éventuellement mettre en œuvre une couche d'APIs afin d'exposer les données

Outils & Environnement

• Plateforme Hadoop
• Développement en Python/PySpark et Hive
• SQL, GIT, Jenkins, Jira
• Shell scripting sous Unix/Linux
• Connaissances appréciées : Indexima, Alteryx, Altair, GCP/Big Query, bibliothèques Python orientées API
• Méthodologie agile, notamment SCRUM

Conditions de travail

• Collaboration avec une équipe IT basée notamment à Porto, nécessitant une maîtrise de l'anglais à l'écrit et à l'oral
• Travail en équipe dans un environnement agile et évolutif
• Autonomie, initiative et capacité d’analyse pour résoudre des problèmes complexes