En un coup d'œil
- Missions: Optimiser et sécuriser une plateforme d'orchestration de données à forte volumétrie.
- Entreprise: Leader dans le secteur automobile et financier, innovant et dynamique.
- Avantages: Salaire compétitif, télétravail, et opportunités de développement professionnel.
- Autres infos: Environnement stimulant avec possibilités de mentorat et de leadership.
- Pourquoi ce job: Rejoignez une équipe passionnée et impactez des projets à grande échelle.
- Qualifications: 5 ans d'expérience sur Apache Airflow et expertise AWS requises.
Le salaire estimé est compris entre 61650 - 75350 € par an.
Dans le cadre du renforcement d'une équipe Data Platform dans le secteur automobile et financier, nous recherchons un Lead Data Orchestration Engineer / Expert Apache Airflow pour accompagner l'optimisation, la sécurisation et l'évolution d'une plateforme d'orchestration Data à forte volumétrie. La plateforme Apache Airflow sous AWS MWAA orchestre actuellement des pipelines de données bancaires couvrant 9 pays européens.
Vous interviendrez autour de 4 axes majeurs :
- Optimisation de la plateforme Airflow
- Optimisation d'une plateforme de 200+ DAGs en production
- Évolution et optimisation de la DAG Factory
- Migration des dépendances inter-DAGs vers les Datasets Airflow
- Optimisation des performances au parse-time et runtime
- Mise en place de tests automatisés des DAGs en CI/CD
- Sécurisation & résilience
- Capacity planning et tuning Airflow
- Gestion des pools, scaling et rétention des logs
- Rotation des secrets
- Amélioration de l'observabilité et de l'alerting
- Mise en œuvre de mécanismes de résilience : retry strategies, DLQ, circuit breakers, isolation des flux
- Étude et migration de la plateforme
- Benchmark des alternatives à AWS MWAA
- Étude d'architectures Airflow sur ECS/EKS, Astronomer, Dagster, Prefect
- Réalisation de POC et recommandation d'une architecture cible
- Pilotage d'une éventuelle migration jusqu'à la mise en production
- Leadership & transmission
- Définition et application des standards techniques
- Mentorat des équipes Dev & Ops
- Formation d'une dizaine de collaborateurs
- Accompagnement des équipes vers des compétences Data Engineering / DataOps
Profil candidat :
- 5 ans minimum d'expérience sur Apache Airflow
- Expérience significative sur AWS MWAA ou Google Cloud Composer
- Expertise du fonctionnement interne d'Airflow : Scheduler, Executors, Pools, Triggers, Deferrable Operators
- Expérience sur des plateformes Airflow à grande échelle
- Très bon niveau en Python
- Solides compétences AWS
- Expérience en DAG Factory et orchestration Data
- Une expérience de migration d'orchestrateur est fortement appréciée
- Capacité à prendre un véritable rôle de Lead technique, avec autonomie et force de proposition
Lead Data Orchestration Engineer / Expert Apache Airflow & AWS employeur : ALLEGIS GROUP
IRP AUTO est un employeur de choix, offrant un environnement de travail dynamique à Angoulême où l'innovation et la collaboration sont au cœur de notre culture. Nous valorisons le développement professionnel de nos employés en leur offrant des opportunités de formation continue et un cadre propice à l'épanouissement personnel. Rejoindre notre équipe, c'est intégrer une entreprise qui soutient la croissance individuelle tout en contribuant à des projets significatifs dans le domaine de Salesforce.
Conseils d'expert StudySmarter🤫
Voici comment nous pensons que tu pourrais décrocher Lead Data Orchestration Engineer / Expert Apache Airflow & AWS
✨Participe à des meetups de data science
Les meetups de data science sont une super opportunité pour rencontrer des professionnels du secteur en personne. Participe à des événements dans ta ville et n'hésite pas à échanger sur des projets personnels ou des datasets intéressants. Cela peut vraiment t'aider à créer des connexions avec des recruteurs ou des collègues potentiels !
✨Montre tes compétences avec des projets
Rien ne vaut un bon projet pour démontrer tes compétences en data science. Que ce soit un projet sur GitHub ou un blog où tu partages tes analyses, mets en avant ton savoir-faire. Les employeurs adorent voir des exemples concrets de ce que tu sais faire !
✨Vis les forums spécialisés
Rejoins des forums et des communautés en ligne spécifiquement dédiés à la data science, comme Kaggle ou des sous-forums sur Reddit. Non seulement tu pourras apprendre des autres, mais tu seras aussi au courant des opportunités d'emploi qui sont souvent partagées dans ces espaces.
✨Postule directement sur le site de ALLEGIS GROUP
N’oublie pas de consulter notre site web pour des offres de full-time en data science chez ALLEGIS GROUP. C'est souvent là qu’on affiche nos postes en premier, et postuler directement peut te donner un avantage ! Fais-le !
Nous pensons qu'il te faut ces compétences pour exceller en tant que Lead Data Orchestration Engineer / Expert Apache Airflow & AWS
Quelques conseils pour ta candidature 🫡
Mets en avant tes compétences techniques:Pour le poste de data scientist chez ALLEGIS GROUP, il est crucial de montrer tes compétences techniques. Assure-toi que ton CV liste des outils et langages de programmation que tu maîtrises, comme Python, R, ou SQL. N'oublie pas d'inclure des projets où tu as utilisé ces compétences, comme des analyses de données ou des modèles prédictifs.
Fais briller tes expériences de projet:Parle de tes projets en data science de manière détaillée dans ta lettre de motivation ou ton CV. Décris les problèmes que tu as résolus, les méthodes que tu as employées, et les résultats obtenus. Ça montrera à ALLEGIS GROUP que tu sais appliquer la théorie à la pratique, ce qui est super important dans ce domaine.
Personnalise ta lettre de motivation:Quand tu rédiges ta lettre de motivation, mets l'accent sur pourquoi tu veux travailler spécifiquement chez ALLEGIS GROUP. Mentionne ce qui te passionne dans leurs projets ou leurs valeurs, et comment tes aspirations s'alignent avec celles de l'entreprise. Ça donnera du poids à ta candidature !
Soigne le format de ton CV:Pour un poste à temps plein, il est essentiel d'avoir un CV clair et bien structuré. N'hésite pas à utiliser des graphiques pour illustrer tes compétences en data science, comme tes niveaux de maîtrise dans différents langages. Sinon, utilise des sections bien définies pour les projets, les expériences et les formations afin que tout soit facile à lire.
Comment te préparer à un entretien d'embauche chez ALLEGIS GROUP
✨Prépare ton arsenal technique !
En data science, les compétences techniques sont primordiales. Sois prêt à répondre à des questions sur les algorithmes, la modélisation des données, et les langages de programmation comme Python ou R. N'hésite pas à réviser quelques concepts de machine learning et à pratiquer des analyses de données sur des jeux de données réels.
✨Montre ton portfolio
Pour un poste à temps plein, ce qui peut faire la différence, c’est un bon portfolio ! Prépare des projets clairs qui démontrent tes compétences en data science, comme des analyses que tu as réalisées ou des visualisations percutantes. Sois prêt à en discuter en profondeur pour prouver ta maîtrise technique.
✨Anticipe les études de cas
Les interviews en data science comportent souvent des études de cas où l'on te demande de résoudre un problème concret. Prépare-toi à décrire ta démarche pour analyser des données, définir des KPI ou même créer un modèle prédictif. Pratique avec des cas d’études donnés par des sites spécialisés ou lors de compétitions en ligne.
✨Comprends le business derrière les données
Au-delà des compétences techniques, les entreprises veulent savoir comment tu peux contribuer à leurs objectifs. Familiarise-toi avec les problématiques du secteur de ALLEGIS GROUP et sois prêt à discuter comment tes compétences peuvent répondre à leurs besoins spécifiques en data science.
