Data Engineer GCP – BigQuery / Airflow – Lille (H/F)

Data Engineer GCP – BigQuery / Airflow – Lille (H/F)

ASAP Tech recherche un Data Engineer GCP pour accompagner l’un de ses clients dans le maintien et l’évolution de sa plateforme data à Lezennes, dans la métropole lilloise.

L’opportunité est ouverte en freelance ou en CDI, avec 2 jours de télétravail par semaine.

Vous rejoindrez un environnement Google Cloud Platform, utilisé par les équipes produit et des agents IA. Votre rôle associera data engineering, exploitation de la plateforme et industrialisation, avec une forte dimension RUN.

Vos missions :

• Concevoir, maintenir et faire évoluer les pipelines ETL/ELT, en batch ou micro-batch.

• Intégrer des flux de sources multiples dans le Data Lake sur GCP.

• Exploiter et optimiser BigQuery et Cloud Storage, notamment les performances des traitements et les coûts.

• Maintenir les traitements et leur orchestration avec Airflow / Cloud Composer : DAGs, planification et monitoring.

• Gérer les accès IAM aux projets, datasets, tables et buckets, dans le respect du principe de moindre privilège.

• Traiter les anomalies et les demandes récurrentes liées au fonctionnement de la plateforme.

• Contribuer à l’automatisation des déploiements avec Terraform ou équivalent, Git et les pipelines CI/CD.

• Mettre en place des métriques, logs, alertes et tableaux de bord pour renforcer l’observabilité.

• Participer au suivi FinOps, à la qualité et à la sécurité des données.

Profil recherché

Vous disposez de 2 à 5 ans d’expérience en Data Engineering, avec une expérience opérationnelle sur GCP.

Les compétences attendues sont :

• BigQuery et Cloud Storage.

• SQL avancé et Python appliqués aux pipelines de données.

• Airflow / Cloud Composer.

• Conception et maintenance de pipelines d’ingestion et de transformation.

• Gestion des droits IAM et compréhension des enjeux de sécurité des données.

Une pratique de Terraform ou d’un outil équivalent, des déploiements CI/CD, du monitoring et de l’optimisation des coûts cloud est également recherchée.

Vous appréciez les sujets d’exploitation, la résolution d’incidents et l’amélioration continue d’une plateforme utilisée au quotidien par plusieurs équipes.