Consultant HBase / AWS

Consultant HBase / AWS EMRInformations générales

Localisation : Nanterre (92)
Télétravail : 50 %
Démarrage : ASAP
Durée : Longue durée
Nombre de postes : Plusieurs ouvertures

Contexte

Dans le cadre du renforcement de ses équipes Data Platforms, notre client recherche plusieurs consultants HBase afin d'intervenir sur des plateformes Big Data critiques hébergées dans AWS.

Les consultants rejoindront une équipe en charge de l'exploitation, de l'optimisation et de la fiabilisation d'environnements HBase exécutés sur AWS Elastic MapReduce (EMR).

L'objectif principal est de garantir la stabilité, la performance et la disponibilité des plateformes tout en accompagnant les équipes sur les problématiques de capacité, de tuning et d'amélioration continue.

MissionsRUN et exploitation HBase

• Assurer le maintien en condition opérationnelle des plateformes HBase

• Participer à l'exploitation quotidienne des clusters

• Analyser et résoudre les incidents de production

• Participer aux activités de support de niveau 2 et 3

• Assurer le suivi des traitements et des performances des plateformes

Performance et optimisation

• Identifier les goulots d'étranglement et les problèmes de performance

• Réaliser les analyses de capacité et les études de montée en charge

• Optimiser les temps de réponse et les performances globales des clusters

• Participer à l'amélioration continue des architectures existantes

• Analyser les métriques système et applicatives

Administration HBase

• Administrer et maintenir les environnements HBase

• Participer aux opérations de maintenance des clusters

• Gérer les problématiques liées aux Region Servers

• Analyser les problématiques de compaction

• Optimiser les stratégies de stockage et d'accès aux données

• Participer à la gestion de la volumétrie et de la croissance des données

• Réaliser et superviser les opérations de Major Compaction et Minor Compaction

• Participer à l'optimisation des performances liées aux HFiles, WAL, MemStore et Region Splits

Environnement techniqueBig Data

• Apache HBase

• HDFS

• ZooKeeper

Cloud

• AWS

• Elastic MapReduce (EMR)

Systèmes

• Linux

Monitoring & Exploitation

• Supervision des clusters

• Analyse de performances

• Troubleshooting

Compétences recherchéesIndispensables

• Bonne maîtrise de HBase

• Expérience en environnement de production

• AWS EMR (Elastic MapReduce)

• Analyse de performances

• Troubleshooting

• RUN critique

• Capacity Planning

• Linux

Connaissances HBase valorisées

• Region Servers

• HMaster

• Compactions

• Major Compaction

• Minor Compaction

• Gestion des HFiles

• WAL (Write Ahead Log)

• MemStore

• Region Split

• Hot Regions

• Optimisation des lectures/écritures

• Répartition de charge

• Tuning HBase

• Gestion de la volumétrie

Profil recherché

Nous recherchons un consultant disposant d'une expérience significative sur des environnements HBase en production.

Le consultant devra être capable d'intervenir sur des problématiques de RUN, de performance, de capacité et de fiabilité des plateformes, tout en étant force de proposition sur les améliorations techniques et les optimisations à mettre en œuvre.

Une expérience sur AWS EMR ainsi qu'une bonne compréhension de l'écosystème Hadoop seront particulièrement appréciées.