Taux journalier (TJM): Selon profil

Architecte Data / Data Engineer Databricks – Azure

Localisation : Paris

Démarrage : 01/03

Objectifs

Référent technique Databricks. En tant qu'Architecte ou Ingénieur Data spécialisé dans les plateformes de données, vous intégrerez une équipe pour concevoir, réaliser, suivre et intégrer des travaux autour de l'évolution de la plateforme DATA.

Compétences Recherchées

• Expertise de services cloud, notamment Microsoft Azure

• Expertise plateforme de données (Databricks), stockage (Azure Storage Account Gen 2) et API (App Service)

• Expertise Databricks & Gen IA

• Expertise plateforme d'ingestion (Nifi), stockage (Azure Storage Account Gen 2), Kubernetes (AKS) et Zookeeper

• Expertise Architecture, ingénieur Data

• Connaissance des processus transverses ou capacité à les appréhender

• Capacité à appréhender les Lignes de Services et leur intégration avec la plateforme data (notamment la LS ingestion)

• Expertise réseau

• Tableaux de bord DataDog pour la supervision Databricks et Nifi

• Vision complète des solutions data pour le programme

Responsabilités

Expertise technique Databricks

• Accompagner les équipes projet dans la conception de leurs solutions (modélisation et conception de flux, choix d'architecture dans Databricks)

• Analyser et résoudre les problématiques techniques rencontrées (blocages, performances, scalabilité, optimisation des coûts)

• Auditer le code (Spark, Python, notebooks) produit par les projets et formuler des recommandations (qualité, normes, bonnes pratiques, sécurité)

Outillage de la plateforme Data

• Améliorer l'intégration de Databricks dans la chaîne CI/CD (maintenir et faire évoluer les pipelines de déploiements, packaging, tests automatisés, etc.)

• Améliorer les outils de monitoring des flux (suivi d'exécution, alerting, logs, metrics)

• Automatiser les principaux gestes d'exploitation : gestion des habilitations, création et gestion des catalogues (Unity Catalog), provisioning des espaces de travail et ressources, scripts/outils d'administration

Veille et démonstration

• Assurer une veille active sur l'écosystème Databricks (nouvelles fonctionnalités, bonnes pratiques, patterns d'architecture)

• Proposer et réaliser des démonstrateurs (PoC) pour illustrer de nouveaux usages, valider des choix techniques ou outiller les projets

• Partager les retours d'expérience (guides, documents de référence, sessions de présentation aux équipes)

Livrables

Études et cadrage technique

• Dossiers d'architecture HLD / LLD

• Kanban / Compte rendu de suivi et de réunion

Rapports d'avancement

• Rapports hebdomadaires et mensuels sur l'état d'avancement du projet et des livrables, les points bloquants, les risques et les actions correctives

• Indicateurs associés propres au projet

Documentation technique

• Documentation complète des solutions techniques mises en œuvre

• Tableaux de bord de supervision DataDog

• PoC et référencement des données et des flux

Profil Recherché

Nous recherchons un profil expérimenté et proactif pour être force de proposition sur l'architecture à mettre en place pour une plateforme de gestion des données. Une personne ayant une connaissance fonctionnelle de la data, des outils de gestion et une expérience en R&D sur IA et Databricks.

Technologies

• Cloud/Serverless : Microsoft Azure, Databricks, compte de stockage Gen 2 (Datalake), AKS

• Apache Nifi & Zookeeper

• BDD : PostgreSQL

• Langages : Spark / Python

• Power BI

• Méthodologie de gestion de projet : Agile-Scrum

• Outils de gestion de versioning : Git, GitLab