Administrateur Big Data Azure - Java - Freelance

Fiche de poste – Administrateur Big Data Azure - Java

Contexte et objectif de la mission

Dans le cadre du développement et de la maintenance d’une infrastructure Big Data sur cloud public, la mission consiste à gérer, optimiser et garantir la disponibilité d’une plateforme centrée sur Spark et Synapse, avec une migration prochaine des environnements on-premise vers des solutions cloud publiques telles que Snowflake et Databricks.

Niveau recherché

Profil middle à senior.

Missions principales

• Développement d’APIs en Java/Spring facilitant l’interfaçage avec Azure et gestion du cycle de vie des applications via CI/CD
• Implémentation et maintenance de solutions de traitement distribué basées sur Spark, via une stack Spark sur AKS développée en interne (Kubernetes CRD Spark Operator) et Synapse d’Azure
• Déploiement automatisé et intégration des solutions dans le respect des exigences de sécurité : autorisation, authentification, chiffrement, résilience, Azure Policies
• Garantie de la disponibilité, de la performance et de la sécurité des solutions déployées
• Gestion des incidents et tickets liés à l’infrastructure Hadoop avec support technique
• Gestion des changements : préparation des changes, tests, rollback, coordination avec les intervenants et suivi des processus
• Participation à l’élaboration et au suivi du planning global de production
• Mise en place et maintien de la documentation technique destinée aux équipes internes et aux utilisateurs
• Participation aux task forces pour résoudre des problématiques techniques complexes
• Contribution aux POC de migration des clients on-premise vers des solutions de stockage sur Azure, Snowflake, Databricks et autres
• Accompagnement des clients dans leur transition du on-premise vers le cloud public
• Collaboration étroite avec les éditeurs et les équipes internes
• Réalisation des astreintes techniques selon le planning défini

Profil recherché

Compétences techniques :
• Développement : Java, Spring, Temporal, Liquibase, Powershell
• Containerisation d’applications Java, déploiement sur AKS, création d’images Docker
• Azure Kubernetes Service (AKS) avec maîtrise de Azure Identity, CSI, nodepool, autoscaling, VM spot
• Big Data : Spark, Hive Metastore, Hadoop
• CI/CD et GitOps : Jenkins, ArgoCD, GitHub, Git, Nexus, Harbor
• Linux, Bash, protocoles de sécurité OAuth et SSL
• Monitoring : ElasticSearch, Kibana (niveau utilisateur)
• Connaissance de Snowflake et Databricks, notamment sur le stockage, le catalogue de données et la fédération des données

Compétences relationnelles :
• Esprit d’analyse et de synthèse, autonomie et sens des responsabilités
• Capacité à travailler en équipe et à communiquer efficacement
• Orientation client et qualité de service