En un coup d'œil
- Missions: Concevoir des évaluations d'IA pour des cas d'utilisation réels et innover dans le domaine.
- Entreprise: Mistral, une entreprise dynamique spécialisée dans les solutions IA de pointe.
- Avantages: Avantages compétitifs incluant couverture santé, congés parentaux et programmes de bien-être.
- Autres infos: Environnement rapide avec autonomie et opportunités d'apprentissage continu.
- Pourquoi ce job: Rejoignez une équipe passionnée par l'IA et façonnez l'avenir des modèles d'évaluation.
- Qualifications: Expérience en ingénierie logicielle ou recherche, compétences en Python et communication efficace.
Le salaire estimé est compris entre 51300 - 62700 € par an.
À propos de Mistral
Mistral fournit des solutions d'IA full-stack : des modèles de pointe aux outils pour développeurs, applications et calcul. Nous collaborons avec des entreprises pour résoudre les problèmes les plus difficiles dans des secteurs à enjeux élevés tels que la finance, la fabrication, la défense, la santé et le secteur public, co-créant des systèmes d'IA personnalisés qu'elles peuvent gérer selon leurs propres termes. Nous sommes une équipe dynamique et collaborative, passionnée par l'IA et son potentiel à transformer la société. Notre main-d'œuvre diversifiée prospère dans des environnements compétitifs et s'engage à stimuler l'innovation. Nos équipes sont réparties entre l'Europe, l'Amérique du Nord, l'Asie et le Moyen-Orient. Nous sommes créatifs, humbles et animés par l'esprit d'équipe.
Le rôle
C'est une occasion de construire les évaluations LLM de pointe qui façonneront les prochaines générations de modèles phares. En tant qu'ingénieur d'évaluation, vous serez responsable des évaluations de A à Z. Vous animerez des ateliers avec des clients, des experts du secteur et nos équipes en contact avec les clients pour comprendre leurs cas d'utilisation les plus importants (par exemple, un ingénieur mettant à jour une pièce dans un logiciel CAD) et aider à décider lesquels valent la peine d'être construits en premier. Vous examinerez également les cas d'utilisation d'aujourd'hui et concevrez des évaluations ambitieuses pour des travaux que aucun modèle ne peut encore réaliser, afin que Mistral soit le premier à y parvenir. Ensuite, vous transformerez chacune d'elles en une référence, souvent où un agent doit effectuer le travail à l'intérieur de logiciels réels. Vous collecterez les données, déciderez comment les évaluer et les exécuterez sur chaque nouveau modèle Mistral et sur les modèles concurrents. Lorsque nos modèles sont insuffisants, vous travaillerez avec les équipes de post-formation pour combler les lacunes. Lorsque les modèles rattrapent leur retard, vous rendrez l'évaluation plus difficile. Vous rédigerez et présenterez vos résultats afin que les dirigeants puissent agir en conséquence. Cela fournit également à nos équipes de mise sur le marché des preuves de l'avance de Mistral. Vous apprendrez rapidement de nouveaux domaines. Un mois, vous pourriez apprendre comment les concepteurs de puces vérifient leur travail, et le mois suivant comment une banque enquête sur un paiement signalé. L'équipe est nouvelle et rapide, et vous aurez beaucoup d'autonomie. Vous passerez beaucoup de temps à parler avec des personnes à travers Mistral pour déterminer ce qui compte le plus, puis déciderez quoi construire.
Ce que vous ferez
- Réaliser des découvertes avec des clients, des experts du secteur et des équipes à travers Mistral, puis aider à décider quels cas d'utilisation valent la peine d'être construits en premier.
- Concevoir de nouvelles références pour des cas d'utilisation industriels et des capacités de pointe, y compris comment elles sont évaluées.
- Construire des évaluations où des agents travaillent à l'intérieur de logiciels réels (par exemple, outils CAD et de simulation), et les exécuter sur nos modèles avec des vérifications que les résultats restent fiables au fil du temps.
- Tester les évaluations existantes pour trouver des défauts et des bogues avant de nous y fier.
- Collecter des données auprès de fournisseurs experts. Lorsque les données des clients ne peuvent pas quitter le client, construire des données proxy ou synthétiques réalistes à la place.
- Rédiger et présenter ce que vous trouvez afin que les dirigeants de Mistral puissent agir en conséquence.
- Aider d'autres équipes à construire leurs propres évaluations, avec des outils et des guides qu'elles peuvent réutiliser.
Ce que nous recherchons
Expérience
- Plus de 2 ans d'expérience dans l'industrie (par exemple, dans le logiciel, l'IA ou le conseil), ou un doctorat.
- Un parcours en ingénierie logicielle ou en recherche, avec une expérience de rédaction de code que d'autres peuvent utiliser.
- Expérience de travail directement avec des clients, des experts du secteur ou d'autres équipes (par exemple, par le biais de conseils, d'ingénierie des solutions ou de collaborations de recherche).
- Expérience dans la construction de quelque chose avec des LLM.
- À l'aise avec de grands ensembles de données, y compris leur construction et leur nettoyage.
Technique
- Solides compétences en Python.
- À l'aise de travailler dans une grande base de code partagée et de faire passer votre code par des revues par d'autres équipes.
- Une bonne compréhension de la formation, de l'inférence et de l'évaluation des LLM.
Communication
- Vous aimez parler avec les gens et vous êtes bon à cela.
- Vous écrivez clairement. Un court document ou une présentation de votre part suffit à un leader occupé pour prendre une décision.
- Confiant lors de présentations à des publics techniques et non techniques.
- Fluent en anglais.
Comment vous travaillez
- Énergie élevée, et vous n'avez pas besoin d'une feuille de route.
- Vous agissez de manière indépendante et gérez l'incertitude avec confiance.
- Proactif et autonome.
- Vous repérez ce qui doit être fait et le faites.
- Vous prenez de bonnes décisions sur ce qu'il faut construire en premier et pouvez expliquer pourquoi.
- Humble, collaboratif et désireux d'apprendre.
- Curieux, avec un historique d'apprentissage de choses en dehors de votre travail ou de vos études.
- Vous pouvez vous familiariser avec un nouveau domaine en quelques semaines.
Atouts
- Expérience dans la construction d'évaluations d'IA, en particulier pour des applications industrielles.
- Recherche publiée sur les évaluations ou contributions à des cadres d'évaluation open-source.
- Expérience dans la construction d'ensembles de données, la génération de données synthétiques, le développement de directives d'étiquetage ou le travail avec des fournisseurs d'annotation.
- Un parcours dans un secteur en dehors du logiciel (par exemple, ingénierie, finance ou science).
Ce que nous offrons
Nous offrons un ensemble complet d'avantages conçu pour soutenir votre bien-être, votre croissance et votre équilibre travail-vie personnelle. Les avantages varient selon le pays et peuvent inclure une couverture santé, un congé parental, des plans de retraite, un soutien à la relocalisation, des programmes de bien-être, des allocations de repas et de transport, et d'autres avantages spécifiques à l'emplacement. Pour les détails les plus récents sur les avantages disponibles dans votre région, veuillez consulter notre page des avantages.
Politique de confidentialité
Votre vie privée est importante pour nous. Vous pouvez en savoir plus sur la façon dont nous gérons vos données personnelles dans notre Politique de confidentialité des candidats.
Evaluation Engineer, Applied AI in Paris employeur : Mistral AI
Mistral est un employeur de choix, offrant un environnement de travail dynamique et collaboratif où l'innovation et la qualité sont au cœur de nos activités. En tant que Data Annotation Quality Specialist, vous bénéficierez d'un ensemble complet d'avantages, y compris des programmes de bien-être, des congés parentaux et un soutien à la relocalisation, tout en ayant l'opportunité de contribuer directement à des projets d'IA significatifs. Notre culture valorise la croissance personnelle et professionnelle, vous permettant d'évoluer dans votre carrière tout en travaillant sur des technologies de pointe dans un cadre stimulant.
Conseils d'expert StudySmarter🤫
Voici comment nous pensons que tu pourrais décrocher Evaluation Engineer, Applied AI in Paris
✨Participe à des meetups tech
Les meetups et les hackathons sont des super occasions pour rencontrer des gens du milieu de l'ingénierie et du développement logiciel. C'est là que tu peux échanger des idées, découvrir des projets et même te faire repérer par des recruteurs comme ceux de Mistral AI.
✨Contribue à des projets open-source
Ne sous-estime pas le pouvoir des contributions open-source. En proposant tes compétences sur des plateformes comme GitHub, tu peux non seulement améliorer ton portfolio, mais aussi prouver ta capacité à travailler en équipe. Ça pourrait faire toute la différence dans ta candidature chez Mistral AI.
✨Réseau sur LinkedIn, mais avec du contenu
Sur LinkedIn, partage du contenu lié à tes projets ou tes réflexions sur les tendances technologiques. Cela peut attirer l'attention de recruteurs et de professionnels du secteur. Qui sait, peut-être que quelqu'un de Mistral AI remarquera tes posts et te contactera pour un entretien !
✨Postule directement via notre site
N’oublie pas que postuler sur le site de Mistral AI est souvent le moyen le plus direct et efficace d'attirer l'attention. Sois proactif et n'hésite pas à postuler même si tu n'as pas tous les critères d'une offre : montrer ton enthousiasme peut faire toute la différence !
Nous pensons qu'il te faut ces compétences pour exceller en tant que Evaluation Engineer, Applied AI in Paris
Quelques conseils pour ta candidature 🫡
Montre tes compétences techniques:Dans le secteur de l'ingénierie et développement logiciel, il est crucial de mettre en avant tes compétences techniques dans ton CV. Mentionne ton expérience avec des langages de programmation spécifiques, des frameworks, ou des projets antérieurs. N'hésite pas à intégrer des liens vers ton GitHub ou des projets personnels pour donner vie à ton profil !
Personnalise ta lettre de motivation:Avec un poste à temps plein, ta lettre de motivation doit refléter ta passion pour le développement logiciel. Explique pourquoi tu souhaites rejoindre Mistral AI et comment tu peux contribuer à leurs projets. Parle aussi de ton intérêt à apprendre et à évoluer au sein de l'équipe.
Démontre ta capacité à travailler en équipe:Les projets de développement logiciel sont souvent le fruit d'un travail collaboratif. Mets en avant dans ton CV des expériences où tu as fait partie d’une équipe, que ce soit dans des stages, des projets universitaires ou des contributions open-source. Les soft skills, ça compte aussi !
Sois clair sur tes attentes:Dans ta candidature pour un poste à temps plein, n'hésite pas à mentionner tes attentes concernant le rôle et la culture d'entreprise. Dis-nous ce qui est important pour toi, que ce soit les technologies utilisées ou l'environnement de travail, pour que Mistral AI sache que tu es sérieux dans ta démarche et que tu es motivé pour un engagement à long terme.
Comment te préparer à un entretien d'embauche chez Mistral AI
✨Maîtrise des langages de programmation
Pour un poste en ingénierie et développement logiciel chez Mistral AI, assure-toi de bien maîtriser les principaux langages demandés dans l'annonce. Prépare-toi à répondre à des questions techniques sur des projets que tu as réalisés ou même à coder en direct lors de l'entretien. Montre que tu sais comment résoudre des problèmes en temps réel !
✨Prépare ton portfolio technique
N'oublie pas d'apporter ton portfolio, surtout si tu as des projets de développement logiciel que tu peux montrer. C'est toujours un plus de pouvoir parler de ton expérience concrète et des challenges que tu as surmontés lors de tes projets précédents. Ça peut vraiment faire la différence chez Mistral AI !
✨Compréhension des méthodologies agiles
Dans notre domaine, on utilise souvent des méthodologies agiles. Sois prêt à discuter de ton expérience avec des frameworks tels que Scrum ou Kanban. Explique comment tu as travaillé en équipe et comment cela a impacté tes projets précédents. Cela montrera ta capacité à t'adapter rapidement au sein d'équipes dynamiques.
✨Sois prêt pour des mises en situation
Attends-toi à des questions comportementales où tu devras prouver ta capacité à gérer des situations stressantes, comme des délais serrés ou des conflits au sein de l'équipe. Prépare quelques anecdotes précises sur ces expériences, car chez Mistral AI, ils rechercheront des candidats réactifs et capables de travailler sous pression.
