Data Engineer GCP à Villeneuve d’Ascq

Chez ATLANSE, nous accompagnons nos clients dans la conception d’infrastructures résilientes, l’amélioration de la performance de leur production applicative, l’optimisation et le développement des environnements de travail ainsi que l’exploitation et la valorisation des données. Pour cela, nous nous appuyons sur nos consultants confirmés et experts ou à fort potentiel, reconnus pour leurs compétences techniques, leur compréhension métier et leurs pratiques éprouvées.

Dans le cadre d’une démarche d'industrialisation des flux de données, vous intervenez sur la conception, le développement, la maintenance et l'optimisation de pipelines de données (ETL/ELT), la gestion d'infrastructures de données sur Google Cloud Platform (GCP), et la mise en place de solutions de reporting et d'analyse.

Votre rôle

Développement et industrialisation des pipelines de données

·       Concevoir, développer et maintenir des Pipelines ETL/ELT robustes et performants sur GCP

·       Collecter, transformer et charger des données issues de diverses sources
(Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations

·       Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc,
Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des
architectures de données scalables et fiables

·       Automatiser les traitements, gérer les dépendances et ordonnancer les jobs de données

·       Optimiser les performances des pipelines et la consommation des ressources
GCP

Modélisation, qualité et gestion des données

·       Participer à la conception et à l'évolution des modèles de données dans
BigQuery

·       Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à
disposition

·       Mettre en place et gérer des stratégies de versioning des schémas et de cycle de vie des données

·       Écrire, optimiser et exécuter des requêtes SQL complexes dans BigQuery et Oracle

·       Créer des dashboards  et indicateurs de suivi pour le reporting opérationnel et métier

Run Opérationnel, maintenance et support N2/N3

·       Assurer le support opérationnel N2/N3 sur les environnements GCP et la solution éditeur

·       Traiter les incidents et demandes via EasyVista, en lien avec l'éditeur et les équipes internes

·       Développer et maintenir des scripts Bash pour l'automatisation, la supervision, l'extraction/transformation et les tâches de maintenance système

·       Participer à la qualification des livraisons de patchs éditeur impactant les flux de
données

·       Suivre les incidents éditeur dans le CRM et participer aux ateliers de suivi

Supervision, infrastructure et amélioration continue

·       Mettre en place et maintenir des solutions de supervision des flux, de la qualité des données et des traitements

·       Définir et implémenter des alertes pertinentes pour détecter proactivement les
anomalies de données ou de pipelines

·       Participer à la définition et à l'implémentation de l'infrastructure de données
(bases de données, services GCP) via des outils IaC (Terraform)

·       Garantir la reproductibilité et la traçabilité des environnements de données (Dev,
Recette, Pré-Prod, Prod)

·       Participer aux rituels Agile / Kanban et contribuer à l’amélioration continue des pratiques data