Data Engineer

Cartographier et documenter les sources de données

Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures

Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité

Structurer le data lake

Contribuer à la gestion des référentiels de données

Intégration des données :

·       Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l’extérieur de l’entreprise

·       Assurer la supervision et l’intégration des données de diverses nature qui proviennent de sources multiples

·       Vérifier la qualité des données qui entrent dans le Data Lake et s’assure de leur sécurité

·       Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval

Animation des communautés :

·       Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l’application de la politique de la donnée

Veille technologique :

·       Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables

·       Mettre en œuvre des POC le cas échéant

·       Propose des évolutions pour les infrastructures et solutions de données en place

Entrants

·       Normes et standards d’architecture d’entreprise

·       Plan d’occupation des sols (POS) et cartographies SI

·       Exigences métiers

Principaux livrables

·       Dossier d’architecture (ou cadre technique) des solutions (plateformes) de traitement des données

·       Data lake adapté aux besoins actuels et futurs

·       Cartographie des données

·       Eléments permettant de garantir la qualité de la donnée

·       Rapport d’études de veille technologique, POC

·       Comptes rendus, plan d’actions animation communautés