Tech Lead Backend Python – AI Services / LLM - Freelance

Contexte

Dans le cadre de la construction d’une plateforme IA européenne destinée aux professionnels du droit, l’équipe AI Services recherche un profil senior capable de développer et d’industrialiser les services permettant aux différents produits du groupe d’exploiter des modèles de langage.

La mission porte principalement sur la couche Backend LLM : exposition des capacités IA, orchestration, streaming des réponses et mise en production de services performants et fiables.

Missions principales

• Concevoir et développer des APIs Python permettant d’exposer les capacités IA aux différents produits.

• Intégrer et orchestrer plusieurs fournisseurs et modèles LLM.

• Mettre en place le streaming des réponses et les traitements asynchrones.

• Développer des mécanismes de function calling, tools et agents IA.

• Participer à l’intégration des pipelines RAG et des services de Retrieval.

• Optimiser les performances, la latence et les coûts d’utilisation des modèles.

• Mettre en œuvre les mécanismes de résilience : timeouts, retries, fallbacks et circuit breakers.

• Garantir la sécurité, la traçabilité et l’isolation des données.

• Définir les contrats d’API, leur versioning et leur documentation.

• Mettre en place l’observabilité : logs, métriques, traces, consommation de tokens et suivi des coûts.

• Réaliser les revues de code et accompagner les développeurs sur les bonnes pratiques Python et IA.

• Contribuer aux choix d’architecture et à l’industrialisation du socle AI Services.

Environnement technique

• Backend : Python 3.11+, FastAPI, Starlette, Pydantic, Uvicorn

• Asynchrone : asyncio, httpx, Celery

• Streaming : SSE, WebSockets

• IA : OpenAI, Azure OpenAI, Mistral, AWS Bedrock

• Orchestration : LangChain, LangGraph, function calling, agents et tools

• Data & Retrieval : OpenSearch, Weaviate, PostgreSQL, pgvector, Redis

• Messaging : Kafka

• Cloud : AWS et/ou Azure

• Industrialisation : Docker, Kubernetes, CI/CD

• Tests : Pytest, pytest-asyncio