En un coup d'œil
- Missions: Piloter l'optimisation d'une plateforme d'orchestration Apache Airflow sur AWS.
- Entreprise: DGTL / Signe +, expert en ressources DATA et BI.
- Avantages: Télétravail flexible et environnement technique stimulant.
- Autres infos: Opportunités de mentorat et de montée en compétences.
- Pourquoi ce job: Rejoignez une mission stratégique dans le secteur automobile avec un impact réel.
- Qualifications: 5 ans d'expérience sur Apache Airflow et expertise AWS requises.
Le salaire estimé est compris entre 63000 - 77000 € par an.
DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA. Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc. Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants.
Le poste : Rejoignez une grande organisation du secteur automobile en tant que Lead Data Orchestration Engineer, en charge du pilotage et de l'optimisation d'une plateforme d'orchestration Apache Airflow hébergée sur AWS MWAA. Vous porterez une mission stratégique de transformation technique, alliant optimisation architecturale, sécurisation de l'infrastructure, et autonomisation des équipes autour d'une plateforme bancaire de données critiques. Notre client gère des pipelines de données complexes traversant 9 pays européens, avec une volumétrie considérable (200+ DAGs en production). Suite à un audit technique approfondi en début 2026, la plateforme a été stabilisée et entre désormais dans une phase d'optimisation structurelle. Vous serez au cœur de cette évolution, responsable de faire évoluer les mécanismes d'orchestration existants, de renforcer la robustesse face à la charge et aux défaillances, d'étudier les alternatives architecturales, et de structurer les équipes pour une exploitation en autonomie long terme.
La mission s'organise autour de quatre axes complémentaires :
- Axe 1 - Optimisation architecturale : faire évoluer la DAG Factory existante, migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets), optimiser les performances au parse-time et runtime, et mettre en place la validation automatisée en CI/CD (parse test, linting, tests d'intégration).
- Axe 2 - Sécurisation et résilience : implémenter une politique de rotation des secrets, déployer le routage différencié des alertes par type d'incident et criticité, piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs), renforcer l'isolation réseau et durcir la configuration, finaliser et maintenir les runbooks d'incidents.
- Axe 3 - Étude et migration vers une infrastructure cible : l'audit a mis en évidence les limites structurelles d'AWS MWAA (contraintes de scaling, flexibilité limitée, coûts). Vous serez chargé de benchmarker les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect ou autres solutions), de produire une recommandation argumentée avec analyse coûts/bénéfices et risques, et de piloter la migration vers l'infrastructure retenue si pertinent.
- Axe 4 - Autonomie des équipes : lancer et piloter un programme de formation sur l'orchestration destiné aux équipes Dev et Ops (environ 10 personnes), constituer une méta-équipe plateforme avec vision unifiée Dev + Ops sous leadership technique commun, accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps), et évaluer l'internalisation progressive de profils techniques clés.
Vous travaillerez dans un environnement technique mature et ambitieux, au sein d'une organisation valorisant l'excellence technique, la rigueur architecturale et le mentorat. Vous aurez également la responsabilité de concevoir et faire appliquer des standards techniques robustes (code reviews, patterns, conventions), et de piloter des programmes d'optimisation complexes avec priorisation, suivi et reporting.
Responsabilités :
- Piloter l'optimisation et l'évolution des mécanismes d'orchestration Airflow pour le passage à l'échelle et la réduction des coûts d'exploitation.
- Faire évoluer la DAG Factory existante en enrichissant les patterns, en améliorant la maintenabilité et en validant automatiquement les DAGs en CI/CD.
- Implémenter et maintenir une stratégie complète de sécurisation : rotation des secrets, routage d'alertes par criticité, isolation réseau, durcissement de configuration.
- Étudier et recommander l'infrastructure cible pour l'orchestration, en analysant les alternatives à AWS MWAA et en piloter la migration.
- Piloter le capacity planning, le tuning de performance (pools, scaling, rétention logs) et la résilience globale de la plateforme.
- Concevoir et faire appliquer les standards techniques et les bonnes pratiques d'orchestration auprès de l'ensemble des équipes.
- Lancer et piloter un programme de formation et de mentorat auprès des équipes Dev et Ops pour accroître leur autonomie.
- Accompagner la montée en compétence des profils vers des rôles Data Engineer et DataOps.
- Garantir la continuité de service lors des transitions et migrations techniques.
Télétravail : à déterminer
Localisation : Sochaux
Profil recherché :
Indispensables :
- Minimum 5 ans d'expérience solide sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer).
- Maîtrise approfondie du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators et leur tuning.
- Expérience confirmée d'optimisation et de scaling de plateformes Airflow en production avec plus de 200 DAGs.
- Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM et patterns de sécurisation cloud.
- Connaissance pratique des alternatives modernes à MWAA : Airflow auto-hébergé sur ECS/EKS, Astronomer, ou orchestrateurs comme Dagster et Prefect.
- Expérience avec les DAG Factories dynamiques : conception, évolution et optimisation de générateurs de DAGs à partir de configurations.
- Maîtrise des patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux.
- Expertise en observabilité : mise en place de métriques, dashboards, alerting et routage d'incidents par criticité.
- Python avancé : développement de plugins custom, operators, sensors et code de qualité production.
- Capacité à concevoir et faire appliquer des standards techniques : code reviews, patterns architecturaux, conventions de nommage.
- Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops).
- Autonomie, force de proposition et capacité à piloter des programmes techniques complexes.
Fortement appréciés :
- Expérience réussie de migration d'une plateforme d'orchestration vers une autre (orchestrateur à orchestrateur).
- Infrastructure as Code avec Terraform ou CloudFormation pour déployer et maintenir des infrastructures Airflow.
- Expérience avec des architectures multi-pays ou multi-régions et gestion de la séparation Dev/Ops.
- Connaissance des patterns avancés d'Airflow : datasets-based orchestration, dynamic DAG generation, XCom optimization.
- Expérience en environnement agile/Scrum avec une sensibilité au delivery itératif et à la gestion des dépendances.
- Compétences en capacity planning, coûts cloud et optimisation TCO.
- Sensibilité au business impact et à la continuité de service dans un contexte critique/bancaire.
- Communication aisée en contexte multi-culturel et aptitude à structurer la connaissance pour les équipes.
Lead Data Orchestration Engineer Airflow (H/F) in Sochaux employeur : DGTL Performance
DGTL / Signe + se distingue comme un employeur de choix grâce à son engagement envers l'éthique et la proximité avec ses clients, offrant un environnement de travail collaboratif et innovant. En tant qu'AI Engineer Senior, vous aurez l'opportunité de travailler sur des projets stratégiques dans un cadre technologique moderne, tout en bénéficiant de réelles perspectives de développement professionnel et d'une culture d'entreprise axée sur l'amélioration continue et le partage des connaissances.
Conseils d'expert StudySmarter🤫
Voici comment nous pensons que tu pourrais décrocher Lead Data Orchestration Engineer Airflow (H/F) in Sochaux
✨Participe à des meetups de data science
Les meetups de data science sont une super opportunité pour rencontrer des professionnels du secteur en personne. Participe à des événements dans ta ville et n'hésite pas à échanger sur des projets personnels ou des datasets intéressants. Cela peut vraiment t'aider à créer des connexions avec des recruteurs ou des collègues potentiels !
✨Montre tes compétences avec des projets
Rien ne vaut un bon projet pour démontrer tes compétences en data science. Que ce soit un projet sur GitHub ou un blog où tu partages tes analyses, mets en avant ton savoir-faire. Les employeurs adorent voir des exemples concrets de ce que tu sais faire !
✨Vis les forums spécialisés
Rejoins des forums et des communautés en ligne spécifiquement dédiés à la data science, comme Kaggle ou des sous-forums sur Reddit. Non seulement tu pourras apprendre des autres, mais tu seras aussi au courant des opportunités d'emploi qui sont souvent partagées dans ces espaces.
✨Postule directement sur le site de DGTL Performance
N’oublie pas de consulter notre site web pour des offres de full-time en data science chez DGTL Performance. C'est souvent là qu’on affiche nos postes en premier, et postuler directement peut te donner un avantage ! Fais-le !
Nous pensons qu'il te faut ces compétences pour exceller en tant que Lead Data Orchestration Engineer Airflow (H/F) in Sochaux
Quelques conseils pour ta candidature 🫡
Mets en avant tes compétences techniques:Pour le poste de data scientist chez DGTL Performance, il est crucial de montrer tes compétences techniques. Assure-toi que ton CV liste des outils et langages de programmation que tu maîtrises, comme Python, R, ou SQL. N'oublie pas d'inclure des projets où tu as utilisé ces compétences, comme des analyses de données ou des modèles prédictifs.
Fais briller tes expériences de projet:Parle de tes projets en data science de manière détaillée dans ta lettre de motivation ou ton CV. Décris les problèmes que tu as résolus, les méthodes que tu as employées, et les résultats obtenus. Ça montrera à DGTL Performance que tu sais appliquer la théorie à la pratique, ce qui est super important dans ce domaine.
Personnalise ta lettre de motivation:Quand tu rédiges ta lettre de motivation, mets l'accent sur pourquoi tu veux travailler spécifiquement chez DGTL Performance. Mentionne ce qui te passionne dans leurs projets ou leurs valeurs, et comment tes aspirations s'alignent avec celles de l'entreprise. Ça donnera du poids à ta candidature !
Soigne le format de ton CV:Pour un poste à temps plein, il est essentiel d'avoir un CV clair et bien structuré. N'hésite pas à utiliser des graphiques pour illustrer tes compétences en data science, comme tes niveaux de maîtrise dans différents langages. Sinon, utilise des sections bien définies pour les projets, les expériences et les formations afin que tout soit facile à lire.
Comment te préparer à un entretien d'embauche chez DGTL Performance
✨Prépare ton arsenal technique !
En data science, les compétences techniques sont primordiales. Sois prêt à répondre à des questions sur les algorithmes, la modélisation des données, et les langages de programmation comme Python ou R. N'hésite pas à réviser quelques concepts de machine learning et à pratiquer des analyses de données sur des jeux de données réels.
✨Montre ton portfolio
Pour un poste à temps plein, ce qui peut faire la différence, c’est un bon portfolio ! Prépare des projets clairs qui démontrent tes compétences en data science, comme des analyses que tu as réalisées ou des visualisations percutantes. Sois prêt à en discuter en profondeur pour prouver ta maîtrise technique.
✨Anticipe les études de cas
Les interviews en data science comportent souvent des études de cas où l'on te demande de résoudre un problème concret. Prépare-toi à décrire ta démarche pour analyser des données, définir des KPI ou même créer un modèle prédictif. Pratique avec des cas d’études donnés par des sites spécialisés ou lors de compétitions en ligne.
✨Comprends le business derrière les données
Au-delà des compétences techniques, les entreprises veulent savoir comment tu peux contribuer à leurs objectifs. Familiarise-toi avec les problématiques du secteur de DGTL Performance et sois prêt à discuter comment tes compétences peuvent répondre à leurs besoins spécifiques en data science.
