En un coup d'œil
- Missions: Optimiser et sécuriser la plateforme d'orchestration de données avec Apache Airflow.
- Entreprise: Entreprise innovante spécialisée dans les solutions de données à l'échelle européenne.
- Avantages: Salaire compétitif, formation continue et opportunités de croissance professionnelle.
- Autres infos: Environnement collaboratif avec des possibilités d'évolution de carrière.
- Pourquoi ce job: Rejoignez une équipe dynamique pour transformer des pipelines de données à travers l'Europe.
- Qualifications: 5 ans d'expérience sur Apache Airflow et expertise en AWS.
Le salaire estimé est compris entre 61650 - 75350 € par an.
Mission
Renforcement de l'équipe Data Platform , avec un profil Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA.
Contexte de la mission
La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données bancaires à travers 9 pays européens.
Un audit technique approfondi a été conduit début 2026, suivi d'une phase de remédiation qui a permis de stabiliser les fondations.
La mission porte aujourd'hui sur l'optimisation et de sécurisation durable de la plateforme : passage à l'échelle, renforcement de l'observabilité, étude d'une infrastructure cible plus adaptée, et montée en compétence des équipes.
Objectifs de la mission
La mission se structure autour de quatre axes
Axe 1 — Optimisation architecturale
Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle et réduire les coûts d'exploitation (temps de résolution d'incidents, effort d'ajout de nouveaux pays).
Axe 2 — Sécurisation et résilience
Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique.
Axe 3 — Étude et migration vers une infrastructure cible
L'audit a mis en évidence les limites structurelles d'AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts).
Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l'infrastructure retenue si pertinent.
Axe 4 — Autonomie des équipes
Former et structurer les équipes Dev et Ops pour qu'elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme.
Profil recherché
Séniorité: 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer).
Compétences techniques requises
- Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators
- Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production)
- Expertise AWS : MWAA, SQS, SNS, Secrets Manager, Cloud Watch, IAM
- Connaissance d'alternatives à MWAA: Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée
- Expérience avec des DAG Factories dynamiques(génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante
- Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux
- Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité
- Python avancé (plugins custom, operators, sensors)
- Infrastructure as Code (Terraform) — connaissance souhaitée
Compétences transverses
- Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns, conventions)
- Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops)
- Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting)
- Autonomie et force de proposition
- Missions principales
- Axe 1 — Optimisation architecturale
- Faire évoluer la DAG Factoryexistante : enrichissement, patterns avancés, maintenabilité
- Piloter lamigration des dépendances inter-DAGsvers des mécanismes natifs Airflow (Datasets)
- Optimiser lesperformances au parse-time et runtime(mise en cache, suppression des appels coûteux)
- Mettre en place lavalidation automatisée des DAGs en CI/CD(parse test, linting, tests d'intégration)
- Axe 2 — Sécurisation et résilience
- Implémenter unepolitique de rotation des secrets
- Mettre en place leroutage différencié des alertespar type d'incident et par criticité
- Piloter lecapacity planninget le tuning de la plateforme (pools, scaling, rétention logs)
- Renforcer l'isolation réseauet le durcissement de la configuration
- Finaliser et maintenir lesrunbooks d'incidents(classification, escalade, post-mortem)
- Axe 3 — Étude et migration vers une infrastructure cible
- Réaliser un benchmarkdes alternatives à AWS MWAA au regard de nos contraintes (multi-pays, volumétrie, séparation Dev/Ops, coûts)
- Produire une recommandation argumentéeavec analyse coûts/bénéfices, risques de migration, et plan de transition
- Piloter la migrationvers l'infrastructure retenue (POC, migration progressive, bascule production)
- Garantir lacontinuité de servicependant la transition
- Axe 4 — Autonomie des équipes
- Lancer et piloter le programme de formationsur l'orchestration (Dev + Ops, ~10 personnes)
- Constituer la méta-équipe plateforme(vision unifiée Dev + Ops sous un leadership technique commun)
- Accompagner l'évolution des profils Dev → Data Engineers et Ops → Data Ops
- Évaluer l'internalisation progressivede profils techniques clés
- #J-18808-Ljbffr
Data Airflow expert in Paris employeur : Craftman data
Rejoindre notre équipe en tant que Consultant / Consultante informatique à Marseille, c'est intégrer une entreprise dynamique qui valorise l'innovation et la collaboration. Nous offrons un environnement de travail stimulant où chaque employé a l'opportunité de contribuer à des projets d'envergure internationale tout en bénéficiant de formations continues et d'un accompagnement personnalisé pour favoriser leur développement professionnel. Avec une culture d'entreprise axée sur l'engagement et le partage des bonnes pratiques, vous serez au cœur d'une transformation passionnante dans le domaine de l'intelligence artificielle.
Conseils d'expert StudySmarter🤫
Voici comment nous pensons que tu pourrais décrocher Data Airflow expert in Paris
✨Participe à des meetups de data science
Les meetups de data science sont une super opportunité pour rencontrer des professionnels du secteur en personne. Participe à des événements dans ta ville et n'hésite pas à échanger sur des projets personnels ou des datasets intéressants. Cela peut vraiment t'aider à créer des connexions avec des recruteurs ou des collègues potentiels !
✨Montre tes compétences avec des projets
Rien ne vaut un bon projet pour démontrer tes compétences en data science. Que ce soit un projet sur GitHub ou un blog où tu partages tes analyses, mets en avant ton savoir-faire. Les employeurs adorent voir des exemples concrets de ce que tu sais faire !
✨Vis les forums spécialisés
Rejoins des forums et des communautés en ligne spécifiquement dédiés à la data science, comme Kaggle ou des sous-forums sur Reddit. Non seulement tu pourras apprendre des autres, mais tu seras aussi au courant des opportunités d'emploi qui sont souvent partagées dans ces espaces.
✨Postule directement sur le site de Craftman data
N’oublie pas de consulter notre site web pour des offres de full-time en data science chez Craftman data. C'est souvent là qu’on affiche nos postes en premier, et postuler directement peut te donner un avantage ! Fais-le !
Nous pensons qu'il te faut ces compétences pour exceller en tant que Data Airflow expert in Paris
Quelques conseils pour ta candidature 🫡
Mets en avant tes compétences techniques:Pour le poste de data scientist chez Craftman data, il est crucial de montrer tes compétences techniques. Assure-toi que ton CV liste des outils et langages de programmation que tu maîtrises, comme Python, R, ou SQL. N'oublie pas d'inclure des projets où tu as utilisé ces compétences, comme des analyses de données ou des modèles prédictifs.
Fais briller tes expériences de projet:Parle de tes projets en data science de manière détaillée dans ta lettre de motivation ou ton CV. Décris les problèmes que tu as résolus, les méthodes que tu as employées, et les résultats obtenus. Ça montrera à Craftman data que tu sais appliquer la théorie à la pratique, ce qui est super important dans ce domaine.
Personnalise ta lettre de motivation:Quand tu rédiges ta lettre de motivation, mets l'accent sur pourquoi tu veux travailler spécifiquement chez Craftman data. Mentionne ce qui te passionne dans leurs projets ou leurs valeurs, et comment tes aspirations s'alignent avec celles de l'entreprise. Ça donnera du poids à ta candidature !
Soigne le format de ton CV:Pour un poste à temps plein, il est essentiel d'avoir un CV clair et bien structuré. N'hésite pas à utiliser des graphiques pour illustrer tes compétences en data science, comme tes niveaux de maîtrise dans différents langages. Sinon, utilise des sections bien définies pour les projets, les expériences et les formations afin que tout soit facile à lire.
Comment te préparer à un entretien d'embauche chez Craftman data
✨Prépare ton arsenal technique !
En data science, les compétences techniques sont primordiales. Sois prêt à répondre à des questions sur les algorithmes, la modélisation des données, et les langages de programmation comme Python ou R. N'hésite pas à réviser quelques concepts de machine learning et à pratiquer des analyses de données sur des jeux de données réels.
✨Montre ton portfolio
Pour un poste à temps plein, ce qui peut faire la différence, c’est un bon portfolio ! Prépare des projets clairs qui démontrent tes compétences en data science, comme des analyses que tu as réalisées ou des visualisations percutantes. Sois prêt à en discuter en profondeur pour prouver ta maîtrise technique.
✨Anticipe les études de cas
Les interviews en data science comportent souvent des études de cas où l'on te demande de résoudre un problème concret. Prépare-toi à décrire ta démarche pour analyser des données, définir des KPI ou même créer un modèle prédictif. Pratique avec des cas d’études donnés par des sites spécialisés ou lors de compétitions en ligne.
✨Comprends le business derrière les données
Au-delà des compétences techniques, les entreprises veulent savoir comment tu peux contribuer à leurs objectifs. Familiarise-toi avec les problématiques du secteur de Craftman data et sois prêt à discuter comment tes compétences peuvent répondre à leurs besoins spécifiques en data science.
