Data Engineer GCP - CDI

Socle Data GCP, Cloud de confiance S3nS & DevOps

Secteur : Énergie
Localisation : Région parisienne, présence majoritaire sur site
Organisation : Fonctionnement en mode Agile à l’échelle, de type SAFe

Contexte de la mission

Dans le cadre de la mise en place et de l’exploitation d’une plateforme Data au sein du secteur de l’énergie, une équipe Socle est chargée de concevoir, industrialiser, déployer et maintenir les services techniques nécessaires aux projets Data et IA.

Cette plateforme s’appuie sur des environnements cloud GCP ainsi que sur un cloud de confiance. Elle fournit aux équipes métiers et applicatives des services mutualisés pour l’ingestion, le stockage, le traitement, l’orchestration, l’exploitation et la valorisation des données.

La mission couvre l’ensemble du cycle de vie de la plateforme, depuis la conception des solutions jusqu’à leur mise en production et leur maintien en conditions opérationnelles.

Responsabilités

Le consultant interviendra sur trois dimensions complémentaires : le Build, le Delivery et l’Exploitation de la plateforme Data.

Conception et évolution du socle Data

• Concevoir des solutions techniques répondant aux besoins des équipes métiers, applicatives et Data.

• Développer des patterns et des services réutilisables pour les différents cas d’usage de la plateforme.

• Mettre en œuvre les solutions dans les environnements hors production et production.

• Définir les bonnes pratiques d’utilisation et d’industrialisation des services cloud.

• Contribuer à l’évolution de l’architecture et à l’optimisation des composants de la plateforme.

• Participer à la définition des fonctionnalités et des sujets techniques en collaboration avec les Product Owners et les équipes d’architecture.

Infrastructure as Code et automatisation

• Développer et maintenir le code d’infrastructure et de configuration.

• Industrialiser les déploiements au moyen de Terraform et des outils d’intégration continue.

• Versionner l’ensemble des scripts, configurations et composants développés dans GitLab.

• Participer à la mise en place et à l’amélioration des chaînes CI/CD.

• Automatiser les opérations récurrentes d’administration, de déploiement et d’exploitation.

• Réaliser les revues de code et veiller à la qualité, la maintenabilité et la sécurité des solutions produites.

Déploiement et accompagnement des utilisateurs

• Déployer les infrastructures et les services demandés par les équipes utilisatrices.

• Tester les automatisations et les solutions livrées de bout en bout.

• Accompagner les équipes dans la prise en main des environnements et des services de la plateforme.

• Présenter les solutions livrées et assurer le support technique associé.

• Prendre en compte les retours utilisateurs et distinguer les incidents, les anomalies et les demandes d’évolution.

• Participer activement aux phases de transition entre le Build, le Delivery et l’Exploitation.

Exploitation et maintien en conditions opérationnelles

• Assurer l’ingénierie d’exploitation des composants de la plateforme Data.

• Participer à la rédaction et à la mise à jour des procédures d’exploitation.

• Contribuer au transfert de connaissances vers les équipes en charge des opérations.

• Traiter les incidents de niveau 3 et assurer les escalades nécessaires vers les éditeurs ou niveaux de support appropriés.

• Suivre les incidents, problèmes et demandes dans l’outil de gestion associé.

• Diagnostiquer les dysfonctionnements et contribuer à leur résolution durable.

• Identifier les métriques, logs et indicateurs nécessaires au suivi de la performance et de la disponibilité des services.

• Mettre en place et maintenir la supervision, la métrologie et les alertes.

• Configurer la collecte et l’exploitation des logs et métriques, notamment avec OpenTelemetry.

• Documenter les flux, les procédures et les composants liés à l’exploitation.

• Alerter sur les risques, les blocages et les éventuels retards de livraison.

Documentation et capitalisation

• Rédiger les documentations techniques, fonctionnelles et d’exploitation.

• Produire les procédures techniques d’installation et d’exploitation.

• Maintenir la documentation des solutions dans Confluence ou un outil équivalent.

• Formaliser les choix d’architecture, les procédures de déploiement et les scénarios de retour arrière.

• Organiser les transferts de connaissances et contribuer à la montée en compétence des équipes.

• Assurer la traçabilité des travaux, des décisions et des actions réalisées.

Environnement technique

La mission s’inscrit dans un environnement comprenant notamment :

• Google Cloud Platform (Cloud Run, Jobs et Services, Google Cloud Storage, Cloud Composer, Cloud Scheduler, Workflows, Cloud SQL, Pub/Sub et Eventarc, BigQuery, Dataproc...)

• Cloud de confiance

• GitLab CI/CD

• Terraform

• Power BI Online

• Grafana

• Prometheus

• OpenTelemetry

• Jira ou outil équivalent

• Confluence

• Méthodes Agile et framework SAFe

Livrables attendus

Les principaux livrables de la mission comprennent :

• Solutions techniques et dossiers de conception.

• Code source, scripts et configurations versionnés.

• Modules et automatisations Terraform.

• Pipelines et composants CI/CD.

• Tableaux de bord de supervision.

• Règles d’alerte et dispositifs de métrologie.

• Procédures d’installation et d’exploitation.

• Documentation technique et fonctionnelle.

• Tickets et comptes rendus d’intervention.

• Rapports de revue de code.

• Supports de transfert de connaissances et d’accompagnement.

Enjeux de la mission

Cette mission s’inscrit dans un contexte de transformation et d’industrialisation des plateformes Data dans le secteur de l’énergie. Elle offre l’opportunité d’intervenir sur des sujets combinant cloud, Data Engineering, DevOps, automatisation, observabilité et exploitation de services critiques, tout en contribuant à la fiabilisation et à la standardisation d’un socle technique mutualisé.