Ingénieur Big Data Hadoop - Freelance

Contexte

Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (CDP). Il s'agit également d'un accompagnement au développement d'un ensemble des DATA Services, avec challenge des fonctionnalités à développer et des standards de travail.

Missions

• Installation de cluster

• Monitoring et administration des outils Big Data

• Administration de cluster

• Upgrade des distributions et des composants Hadoop

• Installation des différents composants sur Hadoop

• Support et résolution des problèmes N2 et N3

• Mise en place d’environnements de développement et de test

• Sécurisation des clusters

• Conception et mise en œuvre des architectures de production pour des solutions techniques spécifiques correspondant au besoin du client

• Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour de la technologie

• Design et implémentation de la solution dans les systèmes existants

• Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning)

• Alimentation du backlog des Services de production (CI/CD, Continuous Operation, Time2fix, ...) en complément des informations collectées auprès des ingénieurs OPS

• Mise en œuvre des bonnes pratiques et intégration continue

• Installation, configuration et divers paramétrages

• Pilotage de la mise à niveau de la solution et gestion des impacts

Outils & Environnement

• Distributions Hadoop et CDP

• Composants : Zookeeper, HDFS, Spark, Hive, Kerberos, Sentry, Anaconda, Hue, Kafka

• Monitoring : Ambari, Cloudera Manager

• Administration : droits d’accès, Policy Ranger, création d’environnements

• CI/CD : Ansible, Jenkins

• Méthodes agiles : Scrum, Safe, Kanban

• Technologies complémentaires : Ansible Automation Platform, Digital.ai Release, ArgoCD, Terraform, Gitlab, Jenkins, Artifactory, SonarQube, Nexus Lifecycle, Fortify

Conditions de travail

• Expérience dans l'environnement de la prestation : 6 ans et plus

• Anglais opérationnel et bonne aisance en communication

• Capacité d’analyse et d’adaptation

• Force de proposition, veille technologique