DATA ENGINEER BIG DATA F/H - SUPPORT

Présentation du contexte

Air France, en tant qu’acteur majeur du transport aérien accompagne chaque année
des millions de passagers tout autour du globe. Nos métiers, au-delà du service offert
à nos clients, sont générateurs d’une grande diversité de données au quotidien, elles-mêmes créatrices de valeur ajoutée et point de départ de nombreuses initiatives.

Le département de développement BI/Big Data d’Air France, au sein de la direction
des Systèmes d’Information, intervient dans toute la chaîne de captation/traitement
des données du groupe et historisation pour délivrer à nos métiers des solutions
applicatives, des extractions ainsi que du reporting clés en main. En lien avec le pôle Ops responsable de la partie hardware il est également en charge de la supervision des outils (ETL, DataLakes, DataWarehouses, Data Visualisation) et du
développement des talents et compétences de Data Engineering.

La migration vers le Cloud, déjà engagée, marque une étape importante dans la transformation de l’IT d’Air France. Elle conduit le département à faire évoluer ses architectures, ses outils et ses pratiques afin de tirer pleinement parti des nouvelles possibilités offertes par le Cloud. Cet accompagnement s’effectue tout en maintenant la fiabilité, la performance et la continuité des solutions décisionnelles et des services de données à destination des métiers.

Description de la mission

Rattaché(e) au service BI, au sein de l’équipe Support, vous contribuerez à la migration de notre plateforme de données vers Google Cloud Platform (GCP).

Notre environnement offre une immersion concrète dans les enjeux liés à la gestion de données à grande échelle. Alors que la migration est toujours en cours, nous gérons déjà près de 700 To de données et plus de 350 pipelines. Les données produites sont utilisées quotidiennement par plusieurs milliers de collaborateurs.

Dans ce contexte, nous faisons évoluer nos outils de suivi de production, de supervision et de gestion des logs. Nous souhaitons également mieux suivre l’utilisation des ressources Cloud et les coûts associés, afin d’identifier des pistes d’optimisation.

Accompagné(e) par votre maître de stage, vous serez notamment amené(e) à :

• 
  

  Participer à la refonte des outils de supervision et de suivi de production

  
  


• 
  

  Concevoir des tableaux de bord facilitant le suivi de l’activité et le travail des équipes

  
  


• 
  

  Améliorer la centralisation, l’analyse et l’exploitation des logs

  
  


• 
  

  Suivre l’utilisation des ressources Cloud et analyser les coûts associés

  
  


• 
  

  Identifier des pistes d’optimisation des ressources et des traitements

  
  


• 
  

  Mettre en place des alertes et des indicateurs utiles au quotidien

  
  


• 
  

  Proposer des solutions simples et adaptées aux besoins des utilisateurs

  
  


• 
  

  Contribuer à la mise à disposition, à la visualisation et à la valorisation des données

  
  

Ce stage vous permettra de développer progressivement une vision globale d’une chaîne data en production : suivi des pipelines, supervision, exploitation des données, analyse des coûts et création de tableaux de bord. Vous travaillerez sur des problématiques concrètes, dans un environnement à fort volume de données, avec un impact direct sur le quotidien de plusieurs milliers de collaborateurs.

Profil recherché

Vous êtes en dernière année de Master ou d’école d’ingénieur, avec un intérêt pour le Cloud, la supervision et l’exploitation des données ?

Vous appréciez l’analyse, le développement et le scripting, et vous êtes à l’aise avec des langages tels que Python et SQL ?

Vous souhaitez découvrir ou approfondir vos connaissances sur Google Cloud Platform (GCP), le monitoring, la gestion des logs, la création de dashboards (PowerBI) et les enjeux de maîtrise des coûts Cloud ?

Vous êtes curieux, rigoureux, autonome et disposez d’une bonne capacité d’adaptation ?

Vous aimez comprendre les problématiques des équipes et proposer des solutions concrètes pour améliorer le suivi et le fonctionnement des plateformes ?

Alors, rejoignez-nous !

Ce que nous vous offrons

• 
  

  Des challenges et problématiques complexes à résoudre

  
  


• 
  

  Une vision transverse des solutions Data et Cloud à l’échelle industrielle

  
  


• 
  

  Un important degré de liberté pour apprendre et développer votre expertise

  
  


• 
  

  Une équipe dynamique, initiatrice de progrès pour nos collègues développeurs