Senior Data Engineer

Ce poste est proposé au nom d'une entreprise partenaire, qui gère toutes les candidatures et les étapes suivantes. Notre partenaire recherche un Ingénieur Data Senior basé en France. En tant qu'Ingénieur Data Senior, vous serez responsable de la plateforme de données, façonnant son architecture et garantissant des performances fiables depuis le développement jusqu'à la production. Vous construirez des pipelines évolutifs qui transforment de grands volumes de données provenant d'APIs, de webhooks, de fichiers et de web scraping en informations fiables prêtes à être utilisées. Une priorité clé sera d'évoluer les workflows séquentiels existants vers une plateforme moderne supportant le traitement concurrent, l'ingestion pilotée par événements et l'exécution par lots orchestrée.

Vous établirez des normes robustes de qualité des données, des mécanismes de récupération résilients et une traçabilité transparente des données pour garantir précision et cohérence à grande échelle. En travaillant avec des technologies telles que Python, PostgreSQL, dbt et Google Cloud Platform, vous intégrerez des sources de données externes et des capacités d'extraction alimentées par l'IA.

Cette opportunité entièrement à distance offre une large responsabilité technique, la liberté de façonner l'infrastructure de données fondamentale et la possibilité d'avoir un impact direct dans un environnement d'ingénierie collaboratif et dynamique.

Responsabilités :

• Posséder l'Architecture de la Plateforme de Données : Concevoir, construire et exploiter une plateforme de données de production depuis l'architecture initiale jusqu'au déploiement, à l'optimisation et à la maintenance continue.
• Construire des Pipelines d'Ingestion Multi-Sources : Développer des systèmes d'ingestion concurrents pour les APIs des fournisseurs, les webhooks, les fichiers et le web scraping, en intégrant la limitation de débit, la gestion des erreurs et un traitement fiable à grande échelle.
• Développer des Workflows par Lots et Pilotés par Événements : Mettre en œuvre des pipelines programmés, des remises historiques et la gestion des dépendances en utilisant des outils d'orchestration tels qu'Airflow, Dagster ou Prefect.
• Assurer une Récupération Fiable en Cas d'Échec : Mettre en œuvre des tentatives, des files d'attente de lettres mortes, des mécanismes de reprise contrôlés et des mises à jour idempotentes pour récupérer des échecs sans générer de doublons ou corrompre les données.
• Établir une Architecture de Données Brutes à Curées : Préserver les charges utiles originales, y compris le JSON du fournisseur, dans Google Cloud Storage (GCS), puis transformer et standardiser les données à l'aide de dbt.
• Renforcer la Qualité et la Gouvernance des Données : Définir des contrats de données, des règles de validation automatisées, des tests de pipeline, des politiques de conservation et des systèmes de surveillance pour suivre la fraîcheur des données, les échecs de traitement et la fiabilité globale.
• Optimiser la Performance de la Base de Données : Concevoir et maintenir des schémas PostgreSQL, des requêtes et des stratégies de chargement incrémentiel pour garantir un traitement efficace et une livraison fiable des données aux produits en aval.
• Intégrer l'Enrichissement et l'Extraction IA : Incorporer des fournisseurs d'enrichissement tiers et des modèles de langage de grande taille (LLM) pour l'extraction structurée de texte dans la plateforme de données.
• Assurer la Traçabilité des Données : Maintenir une lignée claire entre les données sources et les enregistrements curés, permettant un retraitement sûr, une récupération historique, un audit et une gestion cohérente des données.
• Pousser l'Amélioration Continue : Identifier des opportunités pour améliorer le débit, la fiabilité, la maintenabilité et l'efficacité de l'infrastructure tout en adaptant la plateforme aux besoins commerciaux et produits évolutifs.

Exigences :

• Expérience en Ingénierie des Données de Bout en Bout : Expérience avérée dans la construction de plateformes de données de production depuis le début, y compris l'architecture, la mise en œuvre de pipelines, le déploiement, la surveillance et les opérations continues.
• Orchestration des Workflows : Expérience pratique en production avec Airflow, Dagster, Prefect ou Temporal, y compris les dépendances de workflow, les tentatives, la planification et la récupération après échec.
• Google Cloud et dbt : Expérience pratique en production avec Google Cloud Platform (GCP) et dbt, y compris la transformation des données, la gestion des pipelines et l'infrastructure de données basée sur le cloud.
• Architecture Pilotée par Événements : Expérience dans le développement de systèmes asynchrones et pilotés par événements utilisant des plateformes de messagerie ou des files d'attente de tâches, avec une forte compréhension du traitement concurrent, des tentatives et de la tolérance aux pannes.
• Programmation Python : Compétences solides en Python, en particulier pour les requêtes HTTP asynchrones et le traitement concurrent à l'aide de bibliothèques telles qu'asyncio, aiohttp ou HTTPX.
• SQL et PostgreSQL : Connaissances avancées en SQL et expérience pratique avec PostgreSQL, y compris la modélisation des données, l'optimisation des requêtes, le chargement incrémentiel et le réglage des performances.
• Qualité et Modélisation des Données : Expérience dans la conception de contrats de données, de couches de stockage brutes et curées, de politiques de conservation, de validation automatisée et de surveillance de la qualité des données.
• Expertise en Web Scraping : Expérience pratique dans la construction et la maintenance de pipelines de scraping de production utilisant des outils tels que Scrapy, Playwright, Selenium ou Beautiful Soup, y compris la gestion de la concurrence, la limitation de débit et la gestion des échecs.
• Propriété Indépendante : Capacité à prendre des décisions techniques judicieuses, à gérer des projets complexes et à assumer la responsabilité de l'infrastructure des données tout au long du cycle de développement.
• Expérience en Startup ou Petite Équipe : Expérience de travail dans une startup ou une petite équipe d'ingénierie, où les priorités évoluent rapidement et les ingénieurs prennent une large responsabilité, est un plus.
• Résolution d'Entités : Familiarité avec la correspondance des enregistrements d'entreprises et d'individus à partir de plusieurs sources, identification des doublons et consolidation des informations en entités cohérentes est très souhaitable.
• Traitement des Données Basé sur LLM : Expérience dans l'utilisation de modèles de langage de grande taille pour l'extraction de données structurées, l'enrichissement d'entreprises ou l'enrichissement de données personnelles est un avantage.
• Technologies de Données Supplémentaires : Familiarité avec BigQuery et Dataform est un plus.
• Compétences en Communication : Capacité à communiquer clairement des concepts techniques, à collaborer efficacement avec des équipes distribuées et à travailler confortablement dans un environnement professionnel anglophone.

Avantages :

• Travail entièrement à distance : Travaillez à distance depuis des lieux éligibles à travers l'Europe et l'Amérique Latine, avec flexibilité pour organiser votre environnement de travail.
• Propriété Technique : Dirigez l'architecture et l'évolution d'une plateforme de données, avec une influence significative sur les décisions techniques et les pratiques d'ingénierie.
• Pile Technologique Moderne : Travaillez avec Python, PostgreSQL, GCP, dbt, systèmes pilotés par événements, orchestration de workflows, web scraping et extraction de données alimentée par l'IA.
• Impact de Bout en Bout : Construisez une infrastructure fondamentale qui soutient directement la fonctionnalité des produits, la qualité des données et la croissance des affaires.
• Autonomie en Ingénierie : Prenez en charge des défis techniques et façonnez des solutions évolutives dans un environnement dynamique axé sur le produit.
• Opportunités d'Innovation : Explorez le traitement avancé des données, la résolution d'entités, l'enrichissement de données externes et les techniques d'extraction basées sur LLM.
• Collaboration Internationale : Travaillez avec une équipe distribuée à travers plusieurs régions, avec des opportunités de contribuer à des initiatives techniques évolutives.
• Flexibilité de Rémunération : Les attentes salariales sont discutées en USD sur une base mensuelle, le package final étant déterminé lors du processus de recrutement.

Nous utilisons un processus de correspondance alimenté par l'IA pour garantir que votre candidature est examinée rapidement, objectivement et équitablement par rapport aux exigences fondamentales du rôle. Notre système identifie les candidats les mieux adaptés, et cette liste restreinte est ensuite partagée directement avec l'entreprise recruteuse. La décision finale et les prochaines étapes (entretiens, évaluations) sont gérées par leur équipe interne. Nous apprécions votre intérêt et vous souhaitons bonne chance !

Notice de Confidentialité des Données : En soumettant votre candidature, vous reconnaissez que Jobgether traitera vos données personnelles pour évaluer votre candidature et partager des informations pertinentes avec l'employeur recruteur. Ce traitement est basé sur un intérêt légitime et des mesures précontractuelles en vertu des lois applicables sur la protection des données (y compris le RGPD). Vous pouvez exercer vos droits (accès, rectification, effacement, objection) à tout moment.