Data Engineer H/F

PRÉSENTATION DU CONTEXTE

Les forces de sécurité intérieure (FSI) doivent être dotées des solutions opérationnelles les plus efficaces et les mieux adaptées afin de répondre dans de bonnes conditions à leur mission de protection de la population.

Le rapatriement, le nettoyage puis le traitement de données issues d'applications internes ou de l'open data afin de réaliser des indicateurs et des tableaux de bord pertinents représente un enjeu stratégique sur des sujets variés (délinquance, RH, violence intra-familiale, ...).

C'est là que vous intervenez et que vous mettez à profit votre expertise. Vous êtes le garant(e) de la cohérence technique du programme en garantissant la conformité avec la stratégie technique du Ministère de l'Intérieur.

VOS MISSIONS
Vous serez en charge de l'acheminement et de la mise à disposition de la donnée.

Administration de la plateforme de traitement de données :

Installation et configuration de la plateforme

Sécurité et gouvernance :

- Mettre en place l'authentification et l'autorisation ;

- Gérer les certificats et la sécurisation HTTPS ;

- Définir les rôles utilisateurs et groupes d'accès ;

- Configurer les stratégies de versioning.

Performance et supervision :

- Surveiller les métriques ;

- Gérer la scalabilité horizontale (ajout/retrait de noeuds) ;

- Mettre en place la supervision et les alertes.

Maintenance et exploitation :

- Sauvegarde et restauration des configurations et flux ;

- Gestion des mises à jour et patchs de sécurité ;

- Résolution des incidents (blocages de file, plantages de processeurs) ;

- Automatisation du déploiement des flux (via scripts ou CI/CD).

Conception de pipelines de traitement de données :

Conception :

- Analyser les sources de données (API, bases, fichiers, streaming, etc.).

- Définir les flux d'ingestion, transformation et livraison des données.

- Modéliser les chemins de traitement (flow design, provenance tracking).

- Documenter les flux et leurs dépendances.

Développement :

- Gérer les transformations

- Configurer la gestion des erreurs et la reprise sur incident.

- Gérer les paramètres et variables d'environnement.

Tests & déploiement :

- Tester les flux sur des environnements de dev/test.

- Versionner les flux.

- Participer au déploiement contrôlé en production.

Optimisation :

- Ajuster la concurrence.

- Optimiser la latence et le débit des pipelines.

- Nettoyer et surveiller la provenance data pour les audits

Le poste est susceptible de faire l'objet de permanences ou d'astreintes dans les conditions réglementaires.