IA Engineer Python LLM - Freelance

Taux journalier (TJM): 700

Le bénéficiaire souhaite une prestation d’accompagnement dans l’objectif de concevoir et déployer une plateforme backend de chatbot intelligente et sécurisée pour accompagner les collaborateurs dans leurs activités quotidiennes. Le service doit offrir une expérience conversationnelle fluide, multilingue, conforme aux exigences RGAA et sécurité du groupe, tout en permettant l’intégration de solutions métiers (assistants, fichiers, prompts, contextes, KPIs). La solution vise à centraliser et personnaliser l'assistance digitale, accessible à l'ensemble des entités BNP, via une orchestration flexible et évolutive des fonctionnalités.

Contexte :

Au sein d’un grand acteur de la finance, vous participez à la mise en place d’un ChatGPT interne. En tant que développeur Python senior, vous concevez et opérez une plateforme de micro-services hautement disponibles, centrée sur un routeur d’appels vers différents endpoints (dont des LLM), des services de traitement de prompts/documents et une gestion fine des timeouts et fallbacks. Les briques IA avancées (RAG, recherche documentaire, modèles) sont prises en charge par les IA Engineers et le Tech Lead IA.

Les missions principales :

- Conception, développement et maintien des micro-services Python (FastAPI) robustes pour un routeur d’appels vers différents endpoints (LLM, services internes/externes, cache), la gestion des stratégies de fallback (changement de provider, cache, réponses dégradées), le traitement de prompts/documents (parsing, transformation, contrôle qualité).

- Mise en place des APIs fiables et documentées (OpenAPI), avec gestion fine des erreurs et des timeouts, le respect d’un budget de temps à travers les micro-services, les mécanismes de retry et dégradation progressive.

- Conception d'une architecture orientée événements autour de Redis Streams (ou équivalent) pour les flux asynchrones entre services (sans gérer directement la recherche documentaire).

- Suivi d'une haute dispo, scalabilité et observabilité avin un scaling horizontal, une supervision (logs, métriques, traces), une gestion des incidents et amélioration continue de la résilience.

- Contribution à l’industrialisation : CI/CD, tests automatisés (unitaires, intégration, contract testing, tests de charge/résilience), revues de code et bonnes pratiques.

7+ ans d’expérience en Python, dont une part significative en micro-services, haute dispo et APIs en production.

Maîtrise de FastAPI, uvicorn et d’un système de streaming/messaging (Redis Streams ou équivalent).

Solide expérience en conception d’API REST :

erreurs, timeouts, versioning,

observabilité (logs, metrics, traces),

sécurité (auth, autorisation, rate-limiting).

Expérience en systèmes distribués : scalabilité, résilience, gestion de la charge, stratégies de fallback.

À l’aise avec le traitement de gros volumes de documents (PDF, Office, données structurées).

Compréhension opérationnelle des LLM et du RAG pour intégrer les briques IA fournies par l’équipe dédiée.

Culture DevOps (containers, CI/CD, monitoring) et exigence forte sur la fiabilité, la traçabilité et la conformité en environnement financier.