data engineer airflow (H/F)

Contexte du poste

Dans le cadre de projets data à fort volume et à forte criticité, agap2IT recherche un Data Engineer H/F spécialisé Airflow pour intervenir chez des clients grands comptes, au sein d’environnements data industrialisés et internationaux.

Missions principales

• Concevoir, développer et maintenir des pipelines de données avec Apache Airflow
• Orchestrer des flux batch et event-driven à grande échelle
• Garantir la qualité, la fiabilité et la performance des traitements data
• Intégrer des données provenant de sources multiples (SI internes, APIs, fichiers)
• Mettre en œuvre les bonnes pratiques de monitoring, logging et reprise sur incident
• Optimiser les temps de traitement et la gestion des dépendances
• Collaborer avec les équipes Data, Dev, Ops et Métiers
• Documenter les pipelines et participer à l’amélioration continue de la plateforme data

Environnement technique

Orchestration : Apache Airflow (Docker / Kubernetes)

Langages : Python, SQL

Data : Data Lake, Data Warehouse

Cloud : AWS

Traitements : Spark / PySpark

CI/CD : GitLab CI / Jenkins

Systèmes : Linux

Monitoring : Airflow UI, Prometheus, Grafana