Data Engineer Azure - CDI

Contexte

Dans le cadre de la modernisation de son Système d'Information, la DSI recherche un Data intégrateur Azure afin de concevoir, développer et faire évoluer les plateformes d'intégration et de traitement des données.
Vous interviendrez sur plusieurs programmes stratégiques autour des architectures Event-Driven, de la modernisation des flux d'intégration, de la plateforme Data Azure ainsi que des projets analytiques.
L'objectif est de construire des solutions robustes, évolutives et maintenables répondant aux enjeux de temps réel, de qualité des données et de performance.

Équipe :

• 2 PO

• 7 Data engineers

Missions

Développement de la plateforme Middleware Azure

Vous participerez à la conception et au développement d'une plateforme d'intégration temps réel basée sur une architecture Event-Driven.

À ce titre, vous serez amené à :

• Concevoir des architectures d'intégration basées sur Azure Service Bus et Azure Event Grid.

• Développer des Azure Function Apps permettant le traitement, la transformation et le routage des événements.

• Concevoir et développer des APIs et composants d'intégration robustes.

• Participer aux choix d'architecture technique et aux bonnes pratiques de développement.

• Garantir la scalabilité, la résilience et les performances des traitements.

• Mettre en œuvre les mécanismes de gestion d'erreurs (Retry, Dead Letter Queue, Idempotence).

• Assurer la sécurisation des échanges via Azure Key Vault.

Vous interviendrez notamment sur :

• Synchronisation des commandes d'achat entre Trax et NetSuite

• Intégration des données de vols au format AIDX

• Automatisation des flux d'heures et cycles APU

• Développement de nouveaux flux événementiels entre les applications du SI

Qualité de développement

Une attention particulière sera portée à la qualité du code produit.

Le consultant devra appliquer les bonnes pratiques de développement Python :

• Développement d'un code lisible, maintenable et documenté.

• Respect des principes Clean Code et SOLID.

• Séparation des responsabilités et modularisation.

• Gestion robuste des exceptions.

• Optimisation des performances.

• Revue de code (Code Review).

• Développement de tests unitaires avec Pytest.

• Respect des conventions de développement (PEP8).

• Documentation technique des composants.

Industrialisation & DevOps

Vous participerez à l'industrialisation des développements :

• Mise en place des pipelines CI/CD sous Azure DevOps.

• Déploiement des ressources Azure via Bicep.

• Infrastructure as Code.

• Gestion des versions avec Git.

• Supervision et monitoring des traitements.

• Documentation des architectures et des flux.

• Amélioration continue des processus de développement.

Outils & Environnement

• Langages : Python, SQL, PowerShell

• Cloud Azure : Azure Functions, Azure Service Bus, Azure Event Grid, Azure Data Factory (ADF), Azure SQL Database, Azure Data Lake Storage Gen2, Azure Storage Account, Azure Key Vault, Azure DevOps

• DevOps & IaC : Azure DevOps, Git, CI/CD, YAML, Bicep (Azure), Terraform

• Architecture & Intégration : REST API, JSON, Event-Driven Architecture, Messaging, Microservices, AWS SQS

• Qualité logicielle : Clean Code, SOLID, Design Patterns, PEP8, Pytest, Code Review, Documentation technique, Gestion des exceptions, Monitoring