Vos missions
- Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des données
- Développer des pipelines de traitement temps réel et batch avec Apache Flink, Apache Spark et Apache Iceberg
- Déployer les pipelines d'ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming
- Participer à la migration et au refactoring de l'architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming)
- Contribuer à l'implémentation d'algorithmes de maintenance prédictive et de routage
- Industrialiser et exposer des modèles de Machine Learning sous forme d'API, en lien avec les équipes data science
- Assurer le monitoring, la fiabilité et la performance des traitements en production
Environnement technique
- Streaming et traitement : Apache Flink, Apache Kafka (MSK), Kinesis, Apache Spark, Apache Iceberg
- Orchestration : Apache Airflow (MWAA)
- Cloud AWS : S3, Lambda, EKS, ECS, EC2, ECR, IAM, IoT Core
- IoT : MQTT, données capteurs remontées par satellite
- Data warehouse : Snowflake
- DevOps / IaC : Terraform, Docker, CI/CD
- Langages : Python, SQL
Profil recherché
- Formation Bac+5 (école d'ingénieur ou master) en informatique, data ou télécommunications
- Au moins 5 ans d'expérience en data engineering, dont une part significative sur AWS
- Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis)
- Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données
- Une expérience d'industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus
- Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée
- Une certification AWS (Solutions Architect, Data Engineer) est un atout
- Anglais professionnel
Savoir-être
- Autonomie et sens des responsabilités sur des systèmes critiques en production
- Capacité à dialoguer avec les équipes métier pour traduire leurs besoins en solutions techniques
- Rigueur, goût de la performance et de la qualité de la donnée
- Esprit d'équipe et envie de partager ses pratiques
Informations pratiques
- Contrat : CDI chez Visian Azur
- Lieu : Marseille, présence régulière sur le site du client
- Démarrage : à définir ensemble
- Rémunération : selon profil et expérience
#J-18808-Ljbffr
Cloud Data Engineer AWS / Streaming temps réel (H/F) in Marseille employeur : VISIAN
Rejoindre notre société de conseil, c'est intégrer un environnement dynamique où l'innovation et la collaboration sont au cœur de notre culture. Nous offrons des opportunités de développement professionnel continu, permettant à nos employés de grandir et d'évoluer dans leur carrière tout en travaillant sur des projets significatifs pour le secteur bancaire. Située dans un cadre stimulant, notre entreprise valorise la diversité des idées et favorise un équilibre entre vie professionnelle et personnelle, rendant chaque journée de travail enrichissante et motivante.
