•Concevoir et implémenter des pipelines d'ingestion et de transformation de données (batch et temps réel), robustes et scalables.
•Développer et maintenir les flux ETL Talend qui alimentent le datalake et les systèmes consommateurs.
•Développer des traitements Python / PySpark sur Databricks et mettre en œuvre les modèles de données cibles.
•Automatiser les transformations, la documentation et les tests de données avec dbt.
•Configurer les pipelines d'acheminement des données, y compris les flux CDC.
•Mettre en place les bonnes pratiques de qualité de données, de monitoring, d'alerting et de logging.
•Développer des modules réutilisables (templates de pipelines, librairies communes, CI/CD) et exploiter les modules existants dans les nouveaux projets.
•Réaliser les développements et les tests associés, et accompagner les mises en production.
#J-18808-Ljbffr
Data Engineer: End-to-End Pipelines & Databricks Expert in Paris employeur : SIJO
SIJO est un cabinet de conseil à taille humaine situé à Paris, qui valorise l'épanouissement de ses consultants et offre un environnement de travail dynamique et collaboratif. Avec des projets à forte valeur ajoutée dans le secteur de la finance, vous bénéficierez d'opportunités de croissance professionnelle tout en travaillant sur des technologies de pointe comme l'IA et les microservices. Rejoindre SIJO, c'est intégrer une équipe passionnée où réactivité, professionnalisme et proximité sont au cœur de notre culture d'entreprise.
