Data Engineer Databricks/AWS

Le Data Engineer supervise et intègre des données de natures diverses provenant de sources multiples ; il vérifie la qualité des données entrant dans le Data Lake, en effectuant notamment des tests, la déduplication et les activités d'assurance qualité associées.

Les principales responsabilités incluent :

Qualification et gestion des données :

- Collecte de données structurées et non structurées produites par différentes applications ou provenant de sources externes à l'entité

- Intégration des éléments

- Structuration des données (sémantique, etc.)

- Cartographie des éléments disponibles

- Nettoyage des données (élimination des doublons, etc.)

- Validation des données

- Création éventuelle du référentiel de données

La plateforme de données permet à tous les domaines producteurs de données de mettre à disposition des données brutes ou retravaillées dans un Data Lake. Cette plateforme gère notamment les fonctionnalités et les données relevant du périmètre métier « Relation Réseau ». Elle permet :

- L'intégration et l'assurance qualité des données brutes reçues des distributeurs

- La mise à disposition de données GRD exploitables pour tous les besoins du segment et de l'organisation (qu'il s'agisse de besoins opérationnels ou analytiques issus de tous les domaines métiers)

Principales missions :

- Maîtrise des outils Databricks (création de jobs, clusters, notebooks) et capacité à effectuer des requêtes SQL efficaces

- Maintien en conditions opérationnelles de la plateforme de production (analyse et correction d'incidents et d'anomalies)

- Développement de jobs d'ingestion et de transformation de données en Python avec Spark pour traiter de grands volumes de données

- Apport d'une vision à long terme, tant sur le plan opérationnel que stratégique pour la plateforme de données

- Soutien et promotion des meilleures pratiques

- Participation aux ateliers de conception technique et fonctionnelle

- Rédaction et mise à jour de la documentation technique