Data Engineer

Rôle et responsabilités des Développeurs

• Développement et expertise Réaliser des développements de complexité moyenne. Assurer la maintenance applicative (Gestion des obsolescence et vulnérabilités)

• Contribution agile Participer aux rituels techniques (estimation de charge, engagement sur le sprint).

• Architecture et standards Concevoir et mettre en oeuvre l’architecture applicative et technique. Veiller au respect des normes, bonnes pratiques et standards Groupe.

• Qualité et documentation Garantir la qualité des livrables (revues de code, bonnes pratiques). Assurer la production et la maintenance de la documentation projet.

• RUN Assurer le suivi d’exploitation des traitements PySpark en production : supervision, résolution des incidents, analyse des performances et amélioration continue des traitements

-

Maîtrise avancée des environnements de conteneurisation et d’orchestration, notamment Kubernetes et Docker, ainsi que de la gestion sécurisée des secrets avec HashiCorp Vault

-

Maîtrise avancée des traitements Big Data, incluant PySpark 3 ainsi que la manipulation de formats de données distribués (Parquet, gestion des buckets).

-

Maîtrise opérationnelle de l’orchestration de workflows de données à l’aide de l’outil Apache Airflow.

-

Maîtrise confirmée des bases de données relationnelles, particulièrement PostgreSQL.

-

Maîtrise des outils de gestion de code et de qualité logicielle, incluant GitLab, Fortify et SonarQube.

-

Maîtrise des outils de stockage objet, notamment via l’utilisation des commandes MinIO.

-

Maîtrise des outils de transfert de fichiers, en particulier CFT (Cross File Transfer).

Pour l’ensemble du projet de titrisation Bail :

• Dossiers d’architecture (schémas, principes techniques, choix structurants).

• Backlog enrichi et priorisé en lien avec les parties prenantes.

• Composants applicatifs développés, testés et documentés.

• Comptes rendus des revues de code et plan d’amélioration continue.

• Documentation projet à jour (Spécifications techniques, JIRA, Page Confluence, Runbook).

• Reporting d’avancement sur le périmètre confié.

• RUN : Reporting de type Morning check