Data engineer
Salaire du marché
Basé sur 31 offres pour ce poste (Senior, Île-de-France, 3 dernières semaines). Fourchette habituelle 45k€–58k€, médiane 55k€. Cette offre (53k€) est dans la fourchette.
Description du poste
Contexte / Objectifs :
1. Développement de Pipelines de Données :
o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources.
o Implémenter des flux de données robustes et performants sur Cloudera.
o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées.
o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données.
2. Optimisation et Performance :
o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement.
o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase.
o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme.
3. Assurance Qualité et Déploiement (DevOps) :
o Écrire des tests unitaires et d'intégration pour garantir la qualité du code.
o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD).
o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement.
o Gérer les dépendances et les versions avec Maven.
4. Collaboration et Documentation :
o Documenter le code, les architectures et les processus.
o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.
Exigences du poste
Stack technique :
Plan d'action
Un plan personnalisé pour postuler intelligemment à cette offre.
À propos de l'entreprise
Découvrez notre entreprise européenne leader en open source, spécialisée dans les expériences numériques performantes et le numérique responsable. Nous utilisons des solutions innovantes, industrielles, agiles et pragmatiques, en favorisant autant que possible les technologies ouvertes. Notre mission est de vous aider à saisir toutes les opportunités de l'open source. Nous faisons tout ça pour vous donner le Smile !
Voir toutes les offres de SmilePublié par
Intéressé par cette offre ?
Cliquez sur "Postuler" pour accéder à l'offre.