Data Engineer Senior — Cloud Platform Paiement
Salaire du marché
Cette offre n'affiche pas de salaire. D'après 40 offres pour ce poste (Senior, Île-de-France), le marché se situe autour de 480€/j (445€/j–550€/j).
Description du poste
RÉSUMÉ EXPRESS
Data Engineer senior (4 ans+, Bac+5) pour construire et opérer les pipelines data d'une plateforme cloud de paiement à fort volume transactionnel. Il maîtrise Python/PySpark et Databricks en production, conçoit les architectures data lakehouse sur AWS (S3, Redshift), optimise les jobs Spark et garantit la fiabilité et la qualité des données pour les usages analytics et ML. Expérience fintech ou paiement fortement appréciée.
2 jours de télétravail par semaine / Anglais professionnel opérationnel obligatoire.
MISSIONS PRINCIPALES
Design & Construction des Pipelines Data
Concevoir et construire les pipelines ETL/ELT d'ingestion, transformation et chargement depuis de multiples sources (terminaux POS, APIs, systèmes de paiement)
Choisir les patterns adaptés selon les cas d'usage : batch vs streaming, data warehouse vs data lake vs lakehouse
Développer en Python/PySpark avec des pratiques d'ingénierie logicielle solides (tests, packaging, code maintenable)
Databricks & Optimisation Spark
Construire et optimiser les workflows Databricks (Jobs, Delta Live Tables) en production sur des volumes significatifs
Optimiser les jobs Spark : partitionnement, broadcast joins, caching, memory management, tuning des performances et des coûts
Architecture Data & Stockage AWS
Concevoir les structures de données et les patterns de stockage sur AWS (S3, Redshift, formats Parquet/Delta/Iceberg)
Modéliser et optimiser les données dans Redshift (distribution keys, sort keys, requêtes analytiques)
Gérer la sécurité des données dans un contexte de données de paiement sensibles (IAM, chiffrement, conformité)
Fiabilité Production & Qualité des Données
Assurer le monitoring et l'alerting des pipelines en production, intervenir sur les incidents (données manquantes, pipeline en retard, données corrompues)
Mettre en place des contrôles de qualité des données (data validation, schema evolution, data lineage)
Collaboration & Veille
Travailler avec les data scientists pour comprendre leurs besoins et leur fournir des datasets de qualité pour le ML
Assurer une veille technologique active sur les nouvelles technologies et best practices data
Exigences du poste
Stack technique :
Plan d'action
Un plan personnalisé pour postuler intelligemment à cette offre.
À propos de l'entreprise
🤟🏽 Nous sommes une agence de placement de freelance de nouvelle génération spécialisée dans les métiers de l'IT et du digital. 🎯 Nous vous trouvons les meilleurs freelance en 72 heures maximum dans les 6 domaines de compétences suivants : 1️⃣ l'infrastructure et le cloud 2️⃣ la sécurité et l'architecture 3️⃣ les ERP - la BI - la Big Data 4️⃣ les logiciels embarqués 5️⃣ le développement et les applicatifs 6️⃣ le webdesign 6 DOMAINES DE SPECIALISATION : 🌐 l'infrastructure et la cloud (Paas, Iaas, Saas, Google Cloud, AWS, Alibaba Cloud, Microsoft Azure, Cloud Privé/Hybride…) 🔐 la sécurité et l'architecture (Audit, SOC, WAF, Test intrusion, Pentests, scans de vulnérabilités, Systèmes Windows, Unix, Linux…) 🖥️ les ERP, la BI et le Bigdata (SAP, (BI 4, BI 7, Hana, Simple Finance, Simple Logistics…), Microsoft BI, OBIEE, Hyperion…) 🎛️ l'ingénierie et logiciels embarqués (Microtechnique, Microélectronique, Systèmes embarqués, Couches basses, Ingénieur sureté de fonctionnement...) 📱 le développement et les applicatifs (PHP, Java, JavaScript, Python, Symfony, Zend, Angular, React, Node JS, Laravel, IOS, Android…) 💻 le webdesign (UI/UX Designer, Infographiste 2D/3D, Artiste/Animateur 3D, Moteur Unreal, Moteur Unity, Motion Designer...)
Voir toutes les offres de CONCRETIO SERVICESPublié par
Intéressé par cette offre ?
Cliquez sur "Postuler" pour accéder à l'offre.