Développeur Big Data - Freelance

Taux journalier (TJM): 500

Poste : Développeur Big Data
Séniorité : + 5 ans d’expérience
Localisation : Lyon

Contexte

Dans le cadre de son activité Big Data, un organisme de protection sociale recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour accompagner les actions sur la plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs.

Missions

Rattaché au responsable Big Data, le profil aura pour principales missions :

• Prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake, et les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter)

• Apporter une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date)

• Mettre en place des extractions à partir de ces données

• Assurer le support niveau 2

• Faire appliquer les consignes aux utilisateurs

• Garantir la tenue des délais de livraison dans un contexte de production à fortes attentes

• Contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité

• Veiller au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gouvernance de la Donnée

• Communiquer avec diplomatie, écouter, s'intégrer et partager son savoir-faire, documenter ses actions et accompagner

Livrables attendus et environnement technique

Les principales missions confiées seront les suivantes :

• Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets

• Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation

• Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe

• Optimisation des traitements de la plateforme et ceux des utilisateurs

• Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et "clients" (Groupes de protection sociale)

La connaissance de Power BI et SAS est un plus.

Exemples de livrables attendus :

• Code source documenté

• Plan de tests / fiches de test

• Bilan

• Bordereau de livraison

• Manuel d’installation

• Dossier d’exploitation

• JIRA documentée

Environnement technique :

• Hadoop Cloudera

• Hive

• Impala

• Python

• Shell

• Spark

• Linux

• SQL

• VBA

• Git

• Jupyter

Des connaissances de l’écosystème de la protection sociale sont les bienvenues (retraite complémentaire idéalement).