Tech Lead Data Engineering / Streaming (Apache Flink & Kafka) - >10 ans - Freelance

Contexte : Dans le cadre du développement et de l'évolution de la Group Data Platform, nous recherchons un Tech Lead Data Engineering spécialisé dans les architectures temps réel, disposant d'au moins 10 ans d'expérience.

Le consultant interviendra au sein de l'équipe Group Data Delivery afin de concevoir, développer et opérer des produits de données temps réel, depuis l'ingestion et le traitement des flux jusqu'à leur exposition via des API à destination de consommateurs internes et externes.

Il devra apporter une expertise technique avancée sur Apache Flink, Apache Kafka, les architectures événementielles, les microservices et les technologies AWS, tout en assurant le leadership technique, la qualité des développements et la fiabilité des solutions mises en production.

Missions principales

• Concevoir et développer des produits de données temps réel de bout en bout à l'aide d'Apache Flink, Apache Kafka et des architectures événementielles.

• Construire et maintenir des pipelines de données résilients pour l'ingestion, le traitement, la transformation et la distribution des données en temps réel et en batch.

• Concevoir et développer des API REST, des interfaces OpenAPI, des microservices et des interfaces de streaming.

• Déployer et exploiter des solutions sur AWS, notamment avec MSK, Kinesis, Managed Service for Apache Flink, Lambda, API Gateway, ECS, EKS, S3 et IAM.

• Mettre en place des contrôles de qualité des données, des modèles de données, des mécanismes de validation et une gouvernance des schémas.

• Définir et industrialiser les pipelines CI/CD avec GitLab CI, GitHub Actions ou des outils équivalents.

• Garantir l'observabilité des solutions grâce à CloudWatch, OpenTelemetry, Prometheus, Grafana, aux logs structurés, aux métriques et au tracing.

• Assurer le maintien en conditions opérationnelles des services : supervision, gestion des incidents, analyse des causes racines et optimisation des performances.

• Veiller au respect des SLA et à la disponibilité, la sécurité et la fiabilité des services en production.

• Appliquer les bonnes pratiques de sécurité : OAuth2/OIDC, chiffrement des données, gestion des secrets, contrôle réseau et principe du moindre privilège.

• Rédiger la documentation technique : dossiers d'architecture, spécifications API, procédures d'exploitation et documentation de déploiement.

• Piloter les choix techniques, animer les échanges d'architecture et réaliser les revues de code et de conception.

• Définir et promouvoir les standards d'ingénierie, accompagner les développeurs moins expérimentés et assurer le transfert de connaissances.

• Garantir la livraison de produits de données robustes, évolutifs, sécurisés et prêts pour la production.