Senior data engineer (Python & snowflake & DBT & RAG & Architecture )

- Architecture et développement des pipelines d’extraction et transformation des données du catalogue et de la publicité.

- Développement des modules clés du chatbot : ingestion des données CRM, orchestration des conversations et exposition des réponses générées par le LLM.

- Mise en place d’un pipeline DBT pour le traitement des données du chatbot.

- Conception d’un pipeline ETL automatisé pour collecter, transformer et alerter les coûts cloud multi-comptes via les API AWS Cost Explorer.

- Passage des ressources AWS configurées manuellement à une gestion IaC avec Terraform, permettant une infrastructure reproductible, traçable et sans erreurs humaines.

- Conception d’un pipeline ETL automatisé pour collecter, transformer et alerter les coûts cloud multi-comptes via les API AWS Cost Explorer.

- Mise en place de plusieurs optimisations sur DynamoDB afin de réduire les coûts et le volume de stockage (activation du TTL, l’optimisation des schémas et la réduction des opérations coûteuses de Scan)

compétence fonctionnelles en architecture :

• Architecture des plateformes data

• Architecture des pipelines de données (ELT, architecture médaillon, etc...)

• Conception et mise en place d'architectures autour de la knowlodge base, du RAG et des agents IA.

- Technologies : Scala, Python, Spark, Snowflake, Terraform, Gitlab CI/CD, Airflow, AWS Services, DBT, RAG, IA