profils Devops

Je recherche des profils Devops  pour participer au développement d’une application de gouvernance des modèles de Machine Learning, ainsi qu’à l’évolution de notre plateforme de mise à disposition de notre client  basé en IDF /PARIS

Notre plateforme LLM Hub héberge et met à disposition des équipes de développement l’accès à des LLMs tels que OpenAI / Mistral / Claude etc ... via Azure Openai / AI Foundry, et AWS Bedrock. La plateforme a pour objectif de centraliser la consommation des modèles, gérer le reporting de consommation des applications et optimiser les coûts via du provisionned throughput.

La plateforme centralise aussi des fonctionnalités clé en main pour faciliter et accélérer le développement de use cases tirant profit de l'IA générative.

Nous hébergeons une application de type ChatGPT interne.

En perspective, nous visons à offrir une plateforme de création d'agents, de compléter les outils que ces agents pourront utiliser, continuer d'implémenter des fonctionnalités dans notre application ChatGPT.

Objectifs et livrables

Application de gouvernance des modèles de ML

L’équipe devra gérer :

• Le développement / mise à jour / maintenant du code infrastructure Terraform nécessaire dans Azure et / ou AWS, en conformité avec les règles de sécurité et les pratiques internes

• Les workflows Github pour automatiser les déploiements et scanner le code.

• Le développement / mise à jour / maintenance du code backend permettant de récupérer les datas pertinentes provenant de Azure ML, Databricks ou Sagemaker.

• Le stockage dans une base informations relatives aux modèles inventoriés.

• L’exposition d’une API pour que les datas soient consommées par un front React.

Plateforme LLM Hub

L’équipe devra gérer :

• Le développement / mise à jour / maintenant du code infrastructure Terraform nécessaire dans Azure et / ou AWS, en conformité avec les règles de sécurité et les pratiques internes

• Les workflows Github pour automatiser les déploiements et scanner le code.

• Le développement / mise à jour / maintenance du code backend permettant l’exposition des APIs d’OpenAI et Mistral sur un API Manager centralisé, ainsi que les fonctions permettent le suivi de consommations des applications sur Azure et AWS.

• Le développement de plugins visant à faciliter, optimiser, accélérer le développement des applications dans la Compagnie tirant parti des LLMs.

• Des connaissances React peuvent être nécessaires pour mettre à jour une interface web développée pour gérer une application de chatbot.

• Design des fonctionnalités complémentaires à intégrer dans la plateforme pour répondre et anticiper les besoins des utilisateurs (plateforme de création d'agents, prompts library, guardrails, chatbot low code, packaging prêt à l'emploi à intégrer dans le code de nos users ...).

• Veille technologique sur les nouvelles solutions de LLM et leur intégration dans la plateforme.

Poste à pourvoir

DevOps sur le périmètre décrit ci-dessus.

• Gestion du code Terraform de l'infrastructure du périmètre, des workflows de build / déploiement Github.

• Gestion de l'architecture, optimization pour améliorer la résilience et les coûts des infrastructures.

• Monitoring des services du périmètre

• Environnement technique:

• Azure : API Manager, Azure Functions / App Services, Azure OpenAI / AI Foundry, Front Door / App Gateway, Azure Container Apps, Document Intelligence

• AWS : Bedrock, Glue, Lambda

Compétences demandées

Niveau de compétence

Github Confirmé

Terraform Confirmé

Azure Confirmé

API Confirmé

AWS Confirmé

Démarrage ASAP