Data Engineer PySpark/Databricks/GCP (H/F)
Salaire du marché
Cette offre n'affiche pas de salaire. D'après 40 offres pour ce poste (Senior, Île-de-France), le marché se situe autour de 480€/j (445€/j–550€/j).
Description du poste
Contexte
Dans le cadre du développement d’une plateforme Data Cloud, nous recherchons un Data Engineer pour concevoir, développer et industrialiser des pipelines de données à forte valeur ajoutée dans un environnement Databricks et Google Cloud Platform (GCP).
Missions principales
Concevoir et développer des pipelines d’intégration de données en mode batch et streaming.
Développer des traitements de données avec PySpark, Spark, Python et SQL sur Databricks.
Mettre en œuvre les bonnes pratiques d’industrialisation : CI/CD, automatisation des déploiements et gestion des environnements.
Participer à l’orchestration des traitements et à l’administration de la plateforme Data.
Optimiser les performances des traitements ainsi que la consommation des ressources Cloud.
Mettre en place des tableaux de bord FinOps afin de suivre et d’optimiser l’utilisation des ressources GCP et Databricks.
Participer au support de production et aux astreintes.
Contribuer à la documentation technique et au partage de connaissances au sein de l’équipe.
Compétences techniques
PySpark (expertise confirmée)
Databricks : administration, Delta Lake, Unity Catalog, optimisation des performances
Google Cloud Platform (GCP) : GCS, Pub/Sub, GKE, monitoring et alerting
Python
Spark
SQL
Git
Mise en œuvre de pipelines CI/CD (GitHub, Azure DevOps ou équivalent, Databricks Bundles)
Connaissance des pratiques DataOps, FinOps et gouvernance des données
Expérience des architectures Data modernes sur le Cloud
Sensibilité aux problématiques de sécurité et de gestion des accès
Exigences du poste
Stack technique :
Plan d'action
Un plan personnalisé pour postuler intelligemment à cette offre.
À propos de l'entreprise
Nous sommes une communauté d’experts passionnés par les défis technologiques. Notre secret réside en une conviction forte, partagée depuis plus de dix ans : l’hybridation des compétences comme créatrice de valeur. Nous tirons notre force de la symétrie des attentions en fusionnant l’intelligence collective et la passion de nos talents pour proposer des solutions digitales disruptives et à forte valeur ajoutée à nos clients. 1G-Link s’engage pleinement dans les projets qu’elle choisit d’accompagner avec un engouement vif et une quête perpétuelle d’innovation et de succès. Pour cela, nous adoptons une approche décloisonnée, où toutes les compétences sont réunies autour d’un objectif commun afin de concevoir des solutions performantes et innovantes. C’est ainsi que nous contribuons à renforcer la résilience des marques qui souhaitent accélérer leur performance.
Voir toutes les offres de Link ConsultingPublié par
Intéressé par cette offre ?
Cliquez sur "Postuler" pour accéder à l'offre.