Data engineer : kafka, elastic

La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l'essor de nos infrastructures et l'évolution des technologies associées, ou encore l'automatisation accrue sur nos socles et applications, génèrent une quantité massive de Logs, devenues très hétérogènes, dispersées et silotées de par l'organisation de [entreprise anonymisée] et de ses Clients (équipes applicatives et socles multiples et dispersées).
Prenant en compte ce cadre, vos missions seront plus spécifiquement :
- Maîtriser l'ensemble des techniques et technologies composant la chaine de collecte à la mise à disposition des Logs
- Accompagner les besoins et les cas d'usage dès la phase d'étude jusqu'à l'implémentation comprenant la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation
- Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d'automatiser les pipelines d'ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …)
- Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données
- Accompagner les besoins d'analyse de données des utilisateurs, notamment pour les besoins de sécurité (détection d'événement de sécurité) et de suivi opérationnel

En adéquation avec l'équipe DATA et l'équipe LOG Management

Contexte technique
- Kafka
- Scripting Python/SQL/Java
- Suite Elastic (ElasticSearch/Kibana)
- ETL (LogStash/Apache flink)
- Agent de collecte (Elastic ou autre Open-Source)
- OpenTelemetry (Cadre normatif et collecteur)

Attendus
Pour réaliser la mission, vous serez à même de :
- Participer à la conception des solutions techniques et fonctionnelles
- Gérer les données de l'entreprise (flux : collecte, traitement, stockage et leur cycle de vie)
- Rédiger les documents fonctionnels et techniques, d'exploitation, en veillant au respect des normes existantes
- Mettre en œuvre en respectant les principes Agile/DevOps (CI/CD)
- Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes
- Être en relation avec les équipes opérationnelles de l'entreprise pour prise en compte des besoins et flux de données
- Développer les cas d'usage de Dashboard / ML / IA dans la solution, remontés par les utilisateurs

Profil recherché

Compétences requises
- Connaissances en infrastructure : réseau / système
- Connaissance en streaming de données
- Conception et mise en place de solution de stockage et ingestion de données
- Méthodologie Agile / DevOps, maitrise des outils associés (GitLab, Kubernetes)
- Maitrise de divers langages de programmation (Java/Python)
- Anglais

Environnement Technique
Linux
Windows