Senior Data Engineer / Expert Dataplatform (GCP) (IT) / Freelance in Lille

Fiche de poste – SeniorDataEngineer / ExpertDataplatform(GCP)

Contexte & Organisation

Le PôleDataest structuré autour du modèle Spotify :

• UneDataplatformen pleine transformation, composée de 4 experts

  • Architectes / Développeurs GCP & BigQuery

  • Maintenance de l’existant + évolution de la plateforme

  • Début d’un chantier majeur de construction début 2025 (v1 en cours, forte ambition d’évolution)

Outils & écosystème :

• GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery)

• Airflow (orchestration)

• Dataform (concurrent DBT – SQL)

• Terraform pour le provisioning

• ModèleDatatype médaillon

• PratiqueDataEngineer moderne + enjeux d’observabilité / finops / sécurité

Objectifs du poste

Renforcer l’équipeDataplatformavec un profil senior ayant déjà participé à laconstruction d’uneDataplatformet capable d’accélérer l’industrialisation des pipelines et des outils d’ingestion.

Le rôle vise à :

• Faciliter et accélérer le travail desDataEngineers

• Améliorer l’expérience de construction de pipelines de données

• Structurer et fiabiliser l’ingestion et le transfert de données, encore peu industrialisés

• Apporter uneexpertise de haut niveau sur GCP &DataEngineering

Missions principales

1. Gouvernance & Contrôle de la plateforme

• Assurer uncontrôle global de laDataplatformet accompagner lesDataEngineers dans les bonnes pratiques d’industrialisation.

• Identifier les axes d’amélioration techniques et proposer des solutions robustes.

• Participer aux choix d’architecture technique etData(modèle médaillon).

2. FinOps, Observabilité & Sécurité

• Définir et mettre en œuvre les standards d’observabilité.

• Garantir la performance, la robustesse et la sécurité de la plateforme.

• Suivre les coûts et proposer des optimisations FinOps.

• Automatiser le provisioning via Terraform.

3. Développement & Industrialisation

• Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI.

• Contribuer à résorber la dette technique.

• Développer et industrialiser les briques d’ingestion et de transformation.

4. Animation & Documentation

• Participer à lamise à disposition de nouveaux outilset à la documentation associée.

• Assurer une démarche d'amélioration continue du run.

• Animer une équipe deDataEngineerchaque vendredi:

  • partage de bonnes pratiques

  • suivi des évolutions de laDataplatform

  • retours d’expérience et recommandations

5. Innovation & IA

• Apporter une vision sur l’usage de l’IA (générative et traditionnelle) pour :

  • réduire les coûts

  • améliorer la productivité

  • faciliter le travail des collaborateurs

• Contribuer à des projets Vertex AI / ML (ambition forte vers l’IA)