DevOps Data - Freelance

Contexte

Dans le cadre de l’exploitation et de l’optimisation de notre infrastructure Cloudera Data Platform (CDP), nous recherchons un prestataire expert capable d’assurer le support technique, l’analyse et la résolution des incidents critiques ainsi que l’optimisation continue de la plateforme.

Le prestataire devra maîtriser les architectures Cloudera, posséder une expertise avancée en développement Shell, Ansible et Python, et être capable d’intervenir sur les problématiques de dimensionnement et de tuning de l’infrastructure. Une connaissance de Kafka est requise pour la gestion des flux de données en temps réel. Des connaissances sur la plateforme Dataiku seraient un plus.

Missions

Support Technique Niveau 2 et 3 sur Cloudera Data Platform

• Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera.
• Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers.
• Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire.
• Implémenter et améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes.
• Optimiser la performance des services et traitements Hadoop, Spark et Kafka.

Gestion et Optimisation de Kafka

• Administrer et optimiser l’infrastructure Kafka sur Cloudera.
• Gérer la scalabilité et la résilience des clusters Kafka.
• Assurer une supervision efficace des topics, brokers et consommateurs.
• Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets.
• Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka.

Automatisation et Développement

• Développer et maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation.
• Automatiser la gestion des incidents récurrents et les procédures de maintenance.
• Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées.

Optimisation et Dimensionnement de l’Infrastructure

• Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail.
• Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources.
• Analyser et proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier.
• Assurer une veille technologique et être force de proposition pour améliorer la plateforme.

Documentation et Transmission de Connaissances

• Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre.
• Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents.
• Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.