Expert monitoring Datadog / Splunk (H/F)

Alignement avec la stratégie de monitoring et d’observabilité

• Définir les exigences minimales de monitoring à respecter avant toute mise en production.

• Identifier les composants critiques et les principaux parcours utilisateurs à superviser.

• Définir les métriques, logs, traces, événements et indicateurs nécessaires à l’exploitation des services.

• Mettre en place une approche structurée autour des concepts de disponibilité, performance, capacité, erreurs et saturation.

• Contribuer à la stratégie globale d’observabilité et à la feuille de route des outils Datadog et Splunk.

Concevoir et mettre en oeuvre la supervision Datadog

• Mettre en place la collecte des métriques

• Configurer les intégrations Datadog

• Concevoir les dashboards nécessaires aux équipes Run, Infrastructure, Applicatives et Management.

• Mettre en oeuvre le suivi des services, API, URL, certificats, files d’attente et traitements batch.

• Configurer des Service Maps permettant de visualiser les dépendances applicatives.

• Créer et maintenir les monitors, alertes composites et règles de détection d’anomalies.

• Mettre en oeuvre des mécanismes de corrélation entre métriques, traces et logs.

• Automatiser autant que possible le déploiement des configurations et dashboards.

Concevoir et mettre en oeuvre la supervision Splunk

• Définir les sources de logs à collecter et leurs règles d’intégration.

• Configurer les flux de collecte et d’indexation des logs.

• S’assurer de la qualité, de la complétude des données collectées.

• Créer des dashboards techniques, applicatifs et opérationnels dans Splunk.

• Développer les alertes nécessaires à la détection des incidents.

• Mettre en place des mécanismes de corrélation entre événements issus de plusieurs composants.

• Construire des tableaux de bord permettant de suivre les erreurs, les temps de réponse et les volumes de transactions.

• Identifier dans les logs les causes probables d’un incident ou d’une dégradation de service.

Construire les indicateurs techniques et métiers

• Identifier avec les équipes métiers les événements fonctionnels critiques à superviser.

• Traduire les besoins opérationnels en indicateurs mesurables.

• Mettre en place des dashboards combinant données techniques et données métiers.

• Suivre notamment :

  • le nombre de transactions traitées ;

  • le taux de succès et d’échec ;

  • les temps de traitement ;

• Développer une supervision orientée service, et non uniquement orientée composants techniques.

• Mettre en évidence l’impact métier d’une anomalie technique.

Définir et industrialiser le système d’alerting

• Définir des seuils d’alerte pertinents basés sur les comportements réels des applications.

• Éviter les alertes trop nombreuses, redondantes ou sans action possible.

• Classifier les alertes selon leur niveau de criticité et leur impact.

• Définir les destinataires et les circuits d’escalade associés à chaque type d’alerte.

• Documenter pour chaque alerte (signification; contrôles ; diagnostic ; responsable; escalade)

• Intégrer les alertes aux outils de communication et de gestion des incidents.

• Contribuer à l’intégration avec ServiceNow afin d’automatiser, lorsque cela est pertinent, la création et l’enrichissement des incidents.

• Réaliser régulièrement une revue des alertes afin de supprimer les faux positifs et d’améliorer leur pertinence.

• Contribuer au passage du Build vers le Run

• Produire le dossier de supervision nécessaire au passage en exploitation.

• Documenter les dashboards, monitors, recherches Splunk et règles d’alerte.

• Former les équipes à l’utilisation des outils.