Contexte
La mission vient dans le contexte d'un projet de gestion (Build + Run) d'une plateforme data sur GCP pour les données de l'entreprise.
Interlocuteurs : Directeur Data, Data Analysts, Data Engineers, Data Scientists, Product Owners, Équipe Métier.
Missions
Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).
Transformation des données via dbt selon les modèles métiers définis.
Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.
Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.
Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask).
Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).
Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).
Mise en place de la supervision et du monitoring des pipelines de données.
Rédaction de la documentation technique liée aux développements réalisés.
#J-18808-Ljbffr
Ingénieur Data Python sur GCP — Pipelines & DBT in Paris employeur : VISIAN
Rejoindre notre société de conseil, c'est intégrer un environnement dynamique où l'innovation et la collaboration sont au cœur de notre culture. Nous offrons des opportunités de développement professionnel continu, permettant à nos employés de grandir et d'évoluer dans leur carrière tout en travaillant sur des projets significatifs pour le secteur bancaire. Située dans un cadre stimulant, notre entreprise valorise la diversité des idées et favorise un équilibre entre vie professionnelle et personnelle, rendant chaque journée de travail enrichissante et motivante.
