Expert Big Data - Apache Spark - Tech Lead H/F

Les missions du poste

Chez GESER-BEST, nous aidons les entreprises à renforcer leurs équipes en mettant à leur disposition des experts qualifiés pour des projets ponctuels ou de longue durée.

Faire appel à notre assistance technique, c'est bénéficier de savoir-faire complémentaires pour mener à bien un projet, tout en gagnant en flexibilité et en réactivité. Nos spécialistes interviennent dans de nombreux secteurs comme l'aéronautique, le ferroviaire, la santé, l'énergie ou l'industrie.

Notre approche se base sur l'humain : nous accompagnons nos collaborateurs à chaque étape, en leur offrant des projets enrichissants et un suivi personnalisé.

Avec GESER-BEST, vous avez l'assurance d'une expertise fiable, d'une équipe réactive et d'un partenariat fondé sur la confiance.<



Notre agence GESER-BEST Nantes recherche un Expert Big Data / Apache Spark - Tech Lead H/F pour accompagner l'un de nos clients dans un environnement Data à forte volumétrie.

Vous rejoindrez une équipe technique engagée sur des sujets Big Data, avec notamment des enjeux de traitement et de migration de flux, dans un environnement distribué et industrialisé.

Votre mission

En tant qu'Expert Spark / Tech Lead, vous intervenez sur la conception, le développement et l'optimisation de pipelines de données distribués.

Vous serez notamment amené.e à :

- Concevoir et développer des pipelines ETL/ELT distribués avec Apache Spark
- Réaliser des traitements batch à forte volumétrie
- Concevoir et optimiser des jobs Spark complexes
- Participer à la modélisation des données et au choix des formats de stockage, notamment Parquet
- Intervenir sur des problématiques de migration de flux Big Data
- Développer en Scala et/ou PySpark
- Exploiter et optimiser des requêtes SQL
- Travailler dans l'écosystème Cloudera : CDP, Hadoop, HDP, Hive, Impala, YARN, Oozie et/ou Airflow
- Participer aux pratiques de revue de code et à l'industrialisation des développements avec Git
- Contribuer aux pipelines CI/CD via Jenkins ou GitLab CI
- Mettre en place et maintenir les tests automatisés ainsi que les stratégies de non-régression
- Assurer le monitoring, le logging, le troubleshooting et l'analyse des incidents
- Intervenir dans un environnement Linux et utiliser le scripting Shell
- Apporter votre expertise technique à l'équipe et jouer un rôle de référent / Tech Lead

Le profil recherché

Vous disposez d'une réelle expérience significative en développement / ingénierie Big Data, dont au moins 2 ans minimum dans un rôle de Tech Lead ou de référent technique. Vous maîtrisez impérativement :Apache SparkSQLScala et/ou PySparkL'écosystème Cloudera / HadoopVous avez également une bonne connaissance de :Git et des pratiques de revue de codeJenkins et/ou GitLab CITests automatisés et non-régressionLinux / ShellMonitoring et troubleshootingMéthodes Agile, Scrum ou SAFeUne expérience significative sur un projet Big Data intégrant Spark, idéalement dans le cadre de migrations de flux, sera particulièrement appréciée.Des déplacements ponctuels au Mans sont à prévoir selon les besoins du projet.

Bienvenue chez Geser Best

Chez GESER-BEST, nous aidons les entreprises à renforcer leurs équipes en mettant à leur disposition des experts qualifiés pour des projets ponctuels ou de longue durée. Faire appel à notre assistance technique, c'est bénéficier de savoir-faire complémentaires pour mener à bien un projet, tout en gagnant en flexibilité et en réactivité. Nos spécialistes interviennent dans de nombreux secteurs comme l'aéronautique, le ferroviaire, la santé, l'énergie ou l'industrie. Notre approche se base sur l'humain : nous accompagnons nos collaborateurs à chaque étape, en leur offrant des projets enrichissants et un suivi personnalisé.Avec GESER-BEST, vous avez l'assurance d'une expertise fiable, d'une équipe réactive et d'un partenariat fondé sur la confiance.

Mais aussi...

Nos avantages- Gestion à taille humaine- Suivi de mission régulier- Accompagnement pour une montée en compétence rapide- Mobilité géographique possible- Evènements afterwork / teambuilding /caritatifs- Politique de cooptation- Offres CSE- Process d'intégration- Formation continue