Data Engineer - Freelance

Taux journalier (TJM): 380

Nous recherchons pour un client, un data engineer spécialisé snowflake et AWS

Objectifs de la Mission :

- Optimiser les usages et la performance des plateformes AWS et Snowflake

- Optimiser les processus d’intégration des données

- Garantir une gestion des données sécurisée et conforme

- Maintenir une documentation à jour pour soutenir les projets de l’entreprise

Missions Principales :

1. Administration et gestion de la plateforme AWS

- Gestion des incidents :

- Diagnostiquer et résoudre les incidents liés à la plateforme AWS.

- Mettre en place des actions préventives pour minimiser les risques d’interruption de service.

- Conception technique :

- Participer à la conception et au développement de composants techniques pour des solutions innovantes.

- Développer des solutions permettant le traitement sécurisé de grands volumes de données.

- Automatisation des processus :

- Créer et maintenir des pipelines CI/CD pour déploiements continus.

- Superviser la gestion du dépôt Git (branches, pull requests, merges) pour garantir une collaboration efficace.

2. Administration et gestion de la plateforme Snowflake

- Conception de solutions sur Snowflake :

- Concevoir et déployer des solutions exploitant pleinement les capacités de Snowflake (multi-cluster, partage de données sécurisé, optimisation des charges de travail).

- Élaborer des modèles de données optimisés pour des performances maximales et des coûts maîtrisés.

- Mettre en place des architectures de données optimisées

- Créer des environnements modulaires et conteneurisés pour faciliter l’expérimentation et le prototypage

3. Intégration et gestion des données

- Superviser l’intégration des données provenant de sources multiples et variées (structurées et non structurées).

- Effectuer le nettoyage, la validation, et la sécurisation des données avant leur utilisation en aval.

- Contribuer à la gestion des référentiels de données internes pour assurer une cohérence dans leur utilisation.

4. Collaboration et documentation

- Travailler en coordination avec les équipes de développement et d’exploitation pour aligner les besoins métier et les solutions techniques.

- Documenter les processus, architectures et solutions mises en œuvre pour assurer la pérennité et le partage des bonnes pratiques au sein des équipes.

- Animer des sessions de sensibilisation ou de formation sur les meilleures pratiques en matière de gestion et d'exploitation des données.

5. Sécurité et conformité

- S'assurer de la conformité des solutions déployées avec les politiques de sécurité et les normes internes.

- Contribuer à l'amélioration continue des processus liés à la sécurité des infrastructures et des données.

- Assurer une veille technologique active pour identifier les opportunités d’amélioration et anticiper les évolutions.

6. Animation de la communauté technique et veille technologique

- Participer à l'animation de la communauté technique autour des solutions et infrastructures de données.

- Rester à jour sur les technologies et tendances liées à la gestion et manipulation des données.

- Proposer des évolutions pour les infrastructures et outils existants en fonction des besoins métier et des avancées technologiques.