Data Engineer AWS et SNOWFLAKE

Objectifs de la Mission :

 - Optimiser les usages et la performance des plateformes AWS et Snowflake
 - Optimiser les processus d’intégration des données
 - Garantir une gestion des données sécurisée et conforme
 - Maintenir une documentation à jour pour soutenir les projets de l’entreprise


Missions Principales :

1. Administration et gestion de la plateforme AWS
 - Gestion des incidents :
      - Diagnostiquer et résoudre les incidents liés à la plateforme AWS.
      - Mettre en place des actions préventives pour minimiser les risques d’interruption de service.

 - Conception technique :
      - Participer à la conception et au développement de composants techniques pour des solutions innovantes.
      - Développer des solutions permettant le traitement sécurisé de grands volumes de données.

 - Automatisation des processus :
      - Créer et maintenir des pipelines CI/CD pour déploiements continus.
      - Superviser la gestion du dépôt Git (branches, pull requests, merges) pour garantir une collaboration efficace.

2. Administration et gestion de la plateforme Snowflake
 - Conception de solutions sur Snowflake :
      - Concevoir et déployer des solutions exploitant pleinement les capacités de Snowflake (multi-cluster, partage de données sécurisé, optimisation des charges de travail).
      - Élaborer des modèles de données optimisés pour des performances maximales et des coûts maîtrisés.
      - Mettre en place des architectures de données optimisées
      - Créer des environnements modulaires et conteneurisés pour faciliter l’expérimentation et le prototypage

3. Intégration et gestion des données
 - Superviser l’intégration des données provenant de sources multiples et variées (structurées et non structurées).
 - Effectuer le nettoyage, la validation, et la sécurisation des données avant leur utilisation en aval.
 - Contribuer à la gestion des référentiels de données internes pour assurer une cohérence dans leur utilisation.

4. Collaboration et documentation
 - Travailler en coordination avec les équipes de développement et d’exploitation pour aligner les besoins métier et les solutions techniques.
 - Documenter les processus, architectures et solutions mises en œuvre pour assurer la pérennité et le partage des bonnes pratiques au sein des équipes.
 - Animer des sessions de sensibilisation ou de formation sur les meilleures pratiques en matière de gestion et d'exploitation des données.

5. Sécurité et conformité
 - S'assurer de la conformité des solutions déployées avec les politiques de sécurité et les normes internes.
 - Contribuer à l'amélioration continue des processus liés à la sécurité des infrastructures et des données.
 - Assurer une veille technologique active pour identifier les opportunités d’amélioration et anticiper les évolutions.

6. Animation de la communauté technique et veille technologique
 - Participer à l'animation de la communauté technique autour des solutions et infrastructures de données.
 - Rester à jour sur les technologies et tendances liées à la gestion et manipulation des données.
 - Proposer des évolutions pour les infrastructures et outils existants en fonction des besoins métier et des avancées technologiques.