En un coup d'œil
- Missions: Définir et piloter la stratégie de tests pour des agents IA innovants.
- Entreprise: Devoteam, acteur clé de la transformation digitale à Nantes.
- Avantages: Environnement d'apprentissage continu avec des experts en IA et technologies avancées.
- Autres infos: Opportunités de carrière dans un collectif d'experts diversifié.
- Pourquoi ce job: Rejoignez une entreprise AI-Driven et impactez des projets technologiques audacieux.
- Qualifications: Expérience en QA, tests API et environnement Agile requis.
Le salaire estimé est compris entre 57150 - 69850 € par an.
Devoteam Nantes, avec ses 160 collaborateurs, est un acteur clé de la transformation digitale dans la région nantaise. Notre équipe de consultants experts accompagne les entreprises dans la réalisation de leurs projets technologiques les plus audacieux, en s’appuyant sur notre expertise en cloud & DevOps, cybersécurité, data / IA, gestion de projet et développement agile.
Devoteam Creative Tech est l’équipe spécialisée dans la conception de produits et services digitaux performants et durables à forte valeur ajoutée. Notre objectif est de simplifier le quotidien des utilisateurs et générer une valeur tangible pour nos clients grands comptes, dans différents secteurs (banque, assurance, e-commerce, énergie, industrie, finance de marché, luxe et retail). Nous sommes 1 100 creative technologists, dont 800 experts en France, répartis dans 5 tribus d’expertises.
Dans le cadre d’un projet stratégique, notre client développe une application destinée à ses équipes métiers. L'application intégrera 10 à 15 agents IA pour enrichir les usages : préparation automatique de rendez-vous, comptes rendus, planification, Q&A sur les procédures et produits, rédaction d’emails, etc. Des prototypes IA existent déjà et doivent désormais être industrialisés.
Nous recherchons un.e Consultant.e QA IA Senior capable de prendre en autonomie la responsabilité de la recette du projet, en lien étroit avec les Product Owners, développeurs, équipes IA/Data et métiers.
Vos missions :
- Définir la stratégie de tests globale du projet.
- Construire la stratégie spécifique d’évaluation et de recette des agents IA.
- Rédiger les scénarios et cas de tests.
- Réaliser les tests des IHM, API et agents IA.
- Tester notamment la pertinence et la robustesse des réponses IA : cohérence, hallucinations, reproductibilité, performance, cas limites…
- Créer ou compléter les jeux de données de test nécessaires.
- Identifier, documenter et suivre les anomalies.
- Piloter et coordonner la recette métier.
- Travailler quotidiennement avec les équipes PO, DEV, IA, Data et métiers.
Vos atouts pour nous rejoindre :
- Solide expérience en QA / recette fonctionnelle et technique.
- Expérience significative sur les tests API.
- Maîtrise de JIRA / Xray.
- Capable de construire une stratégie de tests de bout en bout.
- À l’aise dans un environnement Agile avec de nombreux interlocuteurs.
- Capable de challenger les équipes et de structurer la recette.
- Une expérience concrète de recette / évaluation de solutions GenAI, LLM ou agents IA est obligatoire.
Nous privilégierons les profils ayant déjà travaillé sur des sujets tels que : définition de critères d'évaluation de réponses LLM ; hallucinations et pertinence des réponses ; tests de RAG / agents IA ; jeux de données / golden datasets ; robustesse et cas limites ; comparaison et qualification des réponses IA.
Environnement technique :
- Front : ReactJS
- Back : Java
- Test management / anomalies : JIRA, Xray
- Tests API : Bruno
- Outils de tests automatisés déjà présents
- Technologies IA / LLM : les technologies sont en cours de décision
Pourquoi nous rejoindre ?
Nous sommes une AI-Driven Company, partenaire des plus grands partenaires technologiques (Google, AWS, Microsoft, ServiceNow,…) et composée d'un important collectif d'experts (50 tribus d'expertise). Avec 75% de nos collaborateurs certifiés dont 100 % sur la GenAI, Devoteam s'impose comme une Learning Company, où l’apprentissage continu est au cœur de notre ADN.
Comment se déroule le processus de recrutement chez Devoteam ?
Il comporte 2 à 3 entretiens :
- Talent Acquisition Interview : l'objectif est de faire le point sur vos compétences, votre niveau d'anglais et de valider vos éléments de motivation
- Tech & Business Interview : cet entretien vise à approfondir vos compétences techniques et à vérifier leur adéquation avec nos besoins lors d'un échange avec un expert métier
- Leadership Interview : il permet d'évaluer votre potentiel, vos ambitions et d'envisager votre évolution au sein de Devoteam.
Nous privilégions au moins un entretien en présentiel. Une prise de référence est demandée et, selon votre profil, des tests (techniques, anglais, personnalité...) peuvent vous être adressés. Si votre candidature est retenue, nous vous faisons parvenir une proposition présentant les conditions d'embauche. En cas d'acceptation, le contrat de travail est formalisé.
Le Groupe Devoteam oeuvre pour l'égalité des chances, pour la promotion de ses collaboratrices et de ses collaborateurs au mérite et lutte activement contre toute forme de discrimination. Nous sommes convaincus que la diversité contribue à la créativité, au dynamisme et à l'excellence de notre organisation. Chaque candidature est donc considérée indépendamment de tout critère discriminatoire.
Consultant.e Senior Test et Recette Agent IA - H/F employeur : Devoteam
Devoteam Creative Tech est un employeur de choix, offrant un environnement de travail dynamique et innovant en Île-de-France. Avec un fort accent sur la collaboration et le développement professionnel, nous offrons à nos employés des opportunités de croissance continue dans le domaine de la finance de marché. Rejoindre notre équipe, c'est faire partie d'une culture qui valorise la créativité et l'excellence technique, tout en bénéficiant d'avantages uniques tels que des projets stimulants et une flexibilité de travail.
Conseils d'expert StudySmarter🤫
Voici comment nous pensons que tu pourrais décrocher Consultant.e Senior Test et Recette Agent IA - H/F
✨Rejoindre des groupes spécialisés
Pour le conseil IT, n’hésite pas à rejoindre des groupes sur LinkedIn ou des forums spécialisés. Ces espaces sont souvent fréquentés par des professionnels comme ceux de Devoteam et peuvent te donner un aperçu des tendances du secteur et des opportunités non publiées.
✨Préparer des études de cas
Dans le conseil IT, les études de cas sont souvent utilisées lors des entretiens. Prépare quelques exemples concrets où tu as résolu des problèmes techniques ou optimisé des processus. Cela montre non seulement tes compétences, mais aussi ton approche analytique.
✨Participer à des meetups tech
Assiste à des meetups ou des conférences liés au conseil IT. C'est une excellente occasion de rencontrer des employés de Devoteam et de te faire connaître dans le milieu. Qui sait, tu pourrais décrocher un entretien juste en discutant avec les bonnes personnes !
✨Postuler directement via notre site
Quand tu vois une annonce pour un poste chez Devoteam, n'oublie pas de postuler directement sur notre site ! Ça assure que ta candidature soit vue en priorité. Et n'hésite pas à mentionner ton intérêt pour nos valeurs et notre culture d'entreprise.
Nous pensons qu'il te faut ces compétences pour exceller en tant que Consultant.e Senior Test et Recette Agent IA - H/F
Quelques conseils pour ta candidature 🫡
Mets en avant tes compétences techniques:Dans le conseil IT, il est essentiel de mettre en avant tes compétences techniques. Assure-toi de mentionner les langages de programmation que tu maîtrises, ainsi que les outils et technologies que tu as utilisés dans tes précédents projets. Utilise ton CV pour démontrer ton expertise et les résultats que tu as obtenus.
Relève des projets concrets:Si tu as travaillé sur des projets spécifiques, n’hésite pas à les inclure dans ton CV ou ta lettre de motivation. Décris comment tu as résolu des problèmes techniques pour des clients ou amélioré des systèmes existants. Cela montre ton aptitude à transformer des défis complexes en solutions.
Personnalise ta lettre de motivation:Montre ton intérêt pour Devoteam en personnaliser ta lettre de motivation. Explique pourquoi tu es attiré par leur approche du conseil IT et comment tu peux contribuer à leurs projets. Nous voulons voir que tu es véritablement passionné par ce que nous faisons !
Soigne la présentation de ton CV:Dans le milieu du conseil, la clarté et la concision sont de mise. Utilise une mise en page professionnelle et évite le jargon. N’oublie pas d’inclure une section sur ta formation et tes certifications. Des éléments comme les certifications IT peuvent vraiment faire la différence !
Comment te préparer à un entretien d'embauche chez Devoteam
✨Maîtrise des outils IT
En tant que consultant IT, il est crucial de démontrer ta maîtrise des outils et des méthodologies couramment utilisés dans le secteur. Prépare-toi à discuter de logiciels spécifiques comme les outils de gestion de projet (par exemple, JIRA ou Trello) et de la façon dont tu les as utilisés dans des projets passés.
✨Cas pratiques à la clé
Attends-toi à des études de cas ou des scénarios pratiques lors de ton entretien. Sois prêt à analyser un problème IT et à proposer une solution en temps réel. Cela montrera ton aisance à travailler sous pression et ta capacité à résoudre des problèmes complexes.
✨Préparation à des questions comportementales
Pour un poste à plein temps, les recruteurs chercheront aussi à évaluer ta culture d'entreprise et ta compatibilité. Prépare des exemples concrets de tes expériences passées où tu as démontré leadership, esprit d'équipe ou gestion de conflit. Ces anecdotes peuvent vraiment faire la différence.
✨Connaissances sectorielles
Assure-toi de te renseigner sur les tendances actuelles du secteur IT, comme la cybersécurité ou l'intelligence artificielle. Cela te permettra de démontrer non seulement tes compétences, mais aussi ton engagement à rester à jour avec les évolutions technologiques importantes qui intéressent Devoteam.
