En un coup d'œil
- Missions: Concevoir et développer des pipelines de données avec Spark et Scala dans un environnement bancaire.
- Entreprise: Anafi Consulting, expert en transformations technologiques et organisationnelles.
- Avantages: Opportunités de carrière, travail collaboratif et projets innovants.
- Autres infos: Environnement technique stimulant avec possibilités d'évolution.
- Pourquoi ce job: Rejoignez une équipe dynamique et impactez des projets stratégiques de transformation Data.
- Qualifications: Expérience en Data Engineering, maîtrise de Scala et Apache Spark.
Le salaire estimé est compris entre 54380 - 66464 € par an.
Qui sommes-nous ? Anafi Consulting est un cabinet de conseil spécialisé dans les transformations technologiques et organisationnelles. Nous accompagnons nos clients grands comptes dans leurs projets stratégiques autour de la Finance, de la Data, du Cloud, du DevOps et du développement applicatif, en combinant expertise technique, compréhension métier et qualité du delivery.
Votre rôle Dans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e) Data Engineer Senior / Lead spécialisé(e) dans les technologies Apache Spark, Scala et Azure Databricks. Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour des données de marché et des reportings financiers réglementaires. Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production. Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes.
Vos missions principales :
- Data Engineering & Traitement de données
- Concevoir et développer des pipelines de traitement de données avec Apache Spark et Scala.
- Collecter, transformer et consolider des données issues de sources multiples.
- Développer des traitements distribués pour des volumes importants de données financières.
- Mettre en œuvre des contrôles de qualité et de cohérence des données.
- Automatiser les traitements de rapprochement et les calculs financiers.
- Garantir la fiabilité et la traçabilité des données produites.
- Architecture Data Lake & Azure
- Participer à la conception et à l'évolution d'architectures Data Lake sur Microsoft Azure.
- Mettre en œuvre des solutions Delta Lake selon une architecture médaillon Bronze / Silver / Gold.
- Développer et maintenir des traitements sur Azure Databricks.
- Contribuer à l'optimisation du stockage et de l'exploitation des données sur Azure Data Lake Storage Gen2.
- Participer aux projets de modernisation et de migration des plateformes Data.
- Performance & Optimisation Spark
- Optimiser les performances des traitements Spark.
- Analyser les plans d'exécution et améliorer les stratégies de partitionnement.
- Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations.
- Participer aux migrations et montées de version des environnements Spark.
- Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines.
- Données financières & Reporting réglementaire
- Développer des traitements de calcul et d'agrégation de données financières.
- Contribuer à la production de reportings réglementaires tels que NSFR et COREP.
- Participer à la fiabilisation des données de marché et des référentiels financiers.
- Développer des mécanismes de rapprochement entre différentes sources de données.
- Garantir la qualité et la non-régression des calculs.
- Industrialisation & DevOps
- Industrialiser les traitements Data à travers des pipelines CI/CD.
- Automatiser les tests unitaires et d'intégration.
- Participer au déploiement des applications sur Kubernetes / AKS.
- Utiliser Helm pour la gestion des déploiements.
- Contribuer à l'amélioration continue des pratiques de développement et de livraison.
- Expertise technique & Accompagnement
- Participer aux choix d'architecture et aux orientations techniques.
- Accompagner les ingénieurs Data dans leur montée en compétence.
- Réaliser des revues de code et promouvoir les bonnes pratiques de développement.
- Collaborer avec les équipes métiers, Data Analysts et équipes IT.
- Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques.
Environnement technique :
- Data Engineering & Big Data : Scala, Apache Spark, Azure Databricks, Delta Lake, SQL
- Cloud & Stockage : Microsoft Azure, Azure Data Lake Storage Gen2 (ADLS), Architecture Data Lake, Architecture médaillon Bronze / Silver / Gold
- Bases de données & Restitution : ClickHouse, OpenSee
- DevOps & Industrialisation : Jenkins, GitHub, Kubernetes / Azure AKS, Helm, Oozie, CI/CD
- Développement : Java, Spring Boot, Angular
- Qualité & Performance : Tests unitaires et d'intégration, Optimisation Spark, Partitionnement et shuffle, Monitoring des traitements, Qualité et fiabilité des données
Profil candidat :
- Compétences techniques
- Expérience confirmée en Data Engineering, idéalement dans un environnement bancaire ou financier.
- Excellente maîtrise de Scala et Apache Spark.
- Expérience significative sur Azure Databricks et Delta Lake.
- Bonne compréhension des architectures Data Lake et des traitements distribués.
- Solide maîtrise de SQL.
- Capacité à optimiser les performances des traitements Spark.
- Expérience dans l'industrialisation des pipelines Data.
- Bonne connaissance des environnements CI/CD et Kubernetes.
- Expérience dans la conception et la maintenance de traitements critiques.
- Compétences fonctionnelles appréciées
- Connaissance des données de marché.
- Expérience des environnements banque de financement et d'investissement.
- Compréhension des enjeux de reporting réglementaire financier.
- Connaissance des reportings NSFR / COREP.
- Expérience des problématiques de rapprochement et de qualité des données financières.
- Soft Skills
- Forte capacité d'analyse et de résolution de problèmes.
- Autonomie et rigueur.
- Capacité à prendre du recul sur les choix techniques.
- Sens de la qualité et de la performance.
- Capacité à accompagner des profils moins expérimentés.
- Bon relationnel et esprit collaboratif.
- Capacité à travailler dans des environnements techniques complexes.
Consultant·e Data Engineer Senior / Lead – Spark, Scala & Azure Databricks employeur : ANAFI CONSULTING
ANAFI CONSULTING est un employeur de choix, offrant un environnement de travail dynamique et collaboratif où l'innovation est au cœur de chaque projet. Située dans un secteur en pleine expansion, notre entreprise valorise le développement professionnel de ses employés à travers des formations continues et des opportunités de carrière enrichissantes. Rejoindre notre équipe, c'est participer à des projets passionnants dans le domaine audiovisuel tout en bénéficiant d'une culture d'entreprise axée sur le bien-être et la reconnaissance des talents.
Conseils d'expert StudySmarter🤫
Voici comment nous pensons que tu pourrais décrocher Consultant·e Data Engineer Senior / Lead – Spark, Scala & Azure Databricks
✨Participe à des meetups de data science
Les meetups de data science sont une super opportunité pour rencontrer des professionnels du secteur en personne. Participe à des événements dans ta ville et n'hésite pas à échanger sur des projets personnels ou des datasets intéressants. Cela peut vraiment t'aider à créer des connexions avec des recruteurs ou des collègues potentiels !
✨Montre tes compétences avec des projets
Rien ne vaut un bon projet pour démontrer tes compétences en data science. Que ce soit un projet sur GitHub ou un blog où tu partages tes analyses, mets en avant ton savoir-faire. Les employeurs adorent voir des exemples concrets de ce que tu sais faire !
✨Vis les forums spécialisés
Rejoins des forums et des communautés en ligne spécifiquement dédiés à la data science, comme Kaggle ou des sous-forums sur Reddit. Non seulement tu pourras apprendre des autres, mais tu seras aussi au courant des opportunités d'emploi qui sont souvent partagées dans ces espaces.
✨Postule directement sur le site de ANAFI CONSULTING
N’oublie pas de consulter notre site web pour des offres de full-time en data science chez ANAFI CONSULTING. C'est souvent là qu’on affiche nos postes en premier, et postuler directement peut te donner un avantage ! Fais-le !
Nous pensons qu'il te faut ces compétences pour exceller en tant que Consultant·e Data Engineer Senior / Lead – Spark, Scala & Azure Databricks
Quelques conseils pour ta candidature 🫡
Mets en avant tes compétences techniques:Pour le poste de data scientist chez ANAFI CONSULTING, il est crucial de montrer tes compétences techniques. Assure-toi que ton CV liste des outils et langages de programmation que tu maîtrises, comme Python, R, ou SQL. N'oublie pas d'inclure des projets où tu as utilisé ces compétences, comme des analyses de données ou des modèles prédictifs.
Fais briller tes expériences de projet:Parle de tes projets en data science de manière détaillée dans ta lettre de motivation ou ton CV. Décris les problèmes que tu as résolus, les méthodes que tu as employées, et les résultats obtenus. Ça montrera à ANAFI CONSULTING que tu sais appliquer la théorie à la pratique, ce qui est super important dans ce domaine.
Personnalise ta lettre de motivation:Quand tu rédiges ta lettre de motivation, mets l'accent sur pourquoi tu veux travailler spécifiquement chez ANAFI CONSULTING. Mentionne ce qui te passionne dans leurs projets ou leurs valeurs, et comment tes aspirations s'alignent avec celles de l'entreprise. Ça donnera du poids à ta candidature !
Soigne le format de ton CV:Pour un poste à temps plein, il est essentiel d'avoir un CV clair et bien structuré. N'hésite pas à utiliser des graphiques pour illustrer tes compétences en data science, comme tes niveaux de maîtrise dans différents langages. Sinon, utilise des sections bien définies pour les projets, les expériences et les formations afin que tout soit facile à lire.
Comment te préparer à un entretien d'embauche chez ANAFI CONSULTING
✨Prépare ton arsenal technique !
En data science, les compétences techniques sont primordiales. Sois prêt à répondre à des questions sur les algorithmes, la modélisation des données, et les langages de programmation comme Python ou R. N'hésite pas à réviser quelques concepts de machine learning et à pratiquer des analyses de données sur des jeux de données réels.
✨Montre ton portfolio
Pour un poste à temps plein, ce qui peut faire la différence, c’est un bon portfolio ! Prépare des projets clairs qui démontrent tes compétences en data science, comme des analyses que tu as réalisées ou des visualisations percutantes. Sois prêt à en discuter en profondeur pour prouver ta maîtrise technique.
✨Anticipe les études de cas
Les interviews en data science comportent souvent des études de cas où l'on te demande de résoudre un problème concret. Prépare-toi à décrire ta démarche pour analyser des données, définir des KPI ou même créer un modèle prédictif. Pratique avec des cas d’études donnés par des sites spécialisés ou lors de compétitions en ligne.
✨Comprends le business derrière les données
Au-delà des compétences techniques, les entreprises veulent savoir comment tu peux contribuer à leurs objectifs. Familiarise-toi avec les problématiques du secteur de ANAFI CONSULTING et sois prêt à discuter comment tes compétences peuvent répondre à leurs besoins spécifiques en data science.
