ML Engineer - Freelance

Taux journalier (TJM): 550

Pour un acteur de l'énergie

Notre application de gouvernance des modèles de ML a pour but d'interroger des ressources Azure Machine Learning, Azure Databricks, AWS Databricks et AWS Sagemaker pour inventorier les modèles d'IA publiés sur ces ressources, et récupérer des informations et métriques mises à disposition par les équipes les développant.

Notre application expose une API pour restituer les données récupérées et permettre à un front de consommer ces datas pour les afficher dans un dashboard, qui permettra le suivi des modèles (mise à jour, utilisation, performance…).

L'étape suivante sera de permettre un suivi "live" de l'utilisation faite des modèles en production.

Plateforme LLM Hub:
Notre plateforme LLM Hub héberge et met à disposition des équipes de développement l’accès à des LLMs tels que OpenAI / Mistral / Claude etc ... via Azure Openai / AI Foundry, et AWS Bedrock. La plateforme a pour objectif de centraliser la consommation des modèles, gérer le reporting de consommation des applications et optimiser les coûts via du provisionned throughput.

La plateforme centralise aussi des fonctionnalités clé en main pour faciliter et accélérer le développement de use cases tirant profit de l'IA générative.

Nous hébergeons une application de type ChatGPT interne.

En perspective, nous visons à offrir une plateforme de création d'agents, de compléter les outils que ces agents pourront utiliser, continuer d'implémenter des fonctionnalités dans notre application ChatGPT.

Objectifs et livrables:
Application de gouvernance des modèles de ML

L’équipe devra gérer :
Le développement / mise à jour / maintenant du code infrastructure Terraform nécessaire dans Azure et / ou AWS, en conformité avec les règles de sécurité et les pratiques internes.
Les workflows Github pour automatiser les déploiements et scanner le code.
Le développement / mise à jour / maintenance du code backend permettant de récupérer les datas pertinentes provenant de Azure ML, Databricks ou Sagemaker.
Le stockage dans une base informations relatives aux modèles inventoriés.
L’exposition d’une API pour que les datas soient consommées par un front React.

Plateforme LLM Hub:
L’équipe devra gérer :
Le développement / mise à jour / maintenant du code infrastructure Terraform nécessaire dans Azure et / ou AWS, en conformité avec les règles de sécurité et les pratiques internes TotalEnergies.
Les workflows Github pour automatiser les déploiements et scanner le code.
Le développement / mise à jour / maintenance du code backend permettant l’exposition des APIs d’OpenAI et Mistral sur un API Manager centralisé, ainsi que les fonctions permettent le suivi de consommations des applications sur Azure et AWS.
Le développement de plugins visant à faciliter, optimiser, accélérer le développement des applications dans la Compagnie tirant parti des LLMs.
Des connaissances React peuvent être nécessaires pour mettre à jour une interface web développée pour gérer une application de chatbot.
Design des fonctionnalités complémentaires à intégrer dans la plateforme pour répondre et anticiper les besoins des utilisateurs (plateforme de création d'agents, prompts library, guardrails, chatbot low code, packaging prêt à l'emploi à intégrer dans le code de nos users ...).
Veille technologique sur les nouvelles solutions de LLM et leur intégration dans la plateforme.
Poste à pourvoir

DevOps sur le périmètre décrit ci-dessus:
Gestion du code Terraform de l'infrastructure du périmètre, des workflows de build / déploiement Github.
Gestion de l'architecture, optimization pour améliorer la résilience et les coûts des infrastructures.
Monitoring des services du périmètre

Environnement technique:
- Azure : API Manager, Azure Functions / App Services, Azure OpenAI / AI Foundry, Front Door / App Gateway, Azure Container Apps, Document Intelligence
- AWS : Bedrock, Glue, Lambda