Data Engineer

Notre client dans le secteur Agroalimentaire recherche un/une Data Engineer H/F

Description de la mission :

Pour renforcer son équipe en charge des sujets IA notre client recherche un freelance Data Engineer dans l'environnement GCP.

Amont d'étude et structuration des données

• Cadrer les besoins métiers et les traduire en spécifications techniques data.

• Analyser et cartographier les sources de données (dont le legacy Teradata), concevoir les modèles de données et définir les règles de transformation et de qualité.

Industrialisation

• Développer, déployer et maintenir les pipelines d'ingestion et de transformation vers le socle GCP / BigQuery.

• Industrialiser les solutions issues des POC : passage à l'échelle, optimisation des traitements, des performances et des coûts.

• Automatiser les déploiements (IaC, CI/CD) et assurer la supervision, la fiabilité et la sécurité des flux en production.

Workflow, process et outillage

• Concevoir les workflows de bout en bout (chaînes de traitement, ordonnancement, procédures d'exploitation) et les interfaces d'échange avec les applications consommatrices.

• Contribuer aux standards et bonnes pratiques DataOps de la Data Factory, documenter et diffuser les compétences auprès des équipes.
  

Langages & frameworks

Python, SQL

Cloud & data

Google Cloud Platform (GCP), BigQuery, services d'ingestion GCP

ETL / intégration

Informatica, Teradata (existant / migration)

Système

Environnement Linux (shell scripting)