Python Flink Data Ingénieur

Profil: Ingénieurie Data expérimenté pour concepion, construction et maintenance d' une infrastructure de données robuste et performance dans un environnement entièrement on-premise. Étroite collaboration avec les équipes Data pour garantir des pipelines fiables et de haute qualité sur notre infrastructure autogérée.

- Expertise Python en contexte professionnel et en production

- Maîtrise des paradigmes avancés : décorateurs, générateurs, context managers, métaclasses, typage statique avec mypy

- Conception de packages Python structurés et réutilisables, gestion de dépendances

- Écriture de tests robustes : pytest, mocking, fixtures, tests paramétrés, couverture de code

- Développement de clients Kafka en Python (confluent-kafka, kafka-python) : producteurs, consommateurs, gestion des offsets et des erreurs

- Expérience avec les clients Elasticsearch en Python (elasticsearch-py) pour l'indexation et la recherche

- Développement d'opérateurs et de hooks Airflow custom en Python

- Manipulation de données avec pandas et PyArrow pour les formats colonnaires (Parquet, ORC)

- Maîtrise des outils de qualité de code : black, ruff, pylint, pre-commit

- Bonne connaissance de la programmation asynchrone (asyncio, aiohttp) pour les pipelines I/O-bound

- Maitrise kubernetes et CI/CD (gitops, etc )