Senior Data Labeler in Paris

Nous recherchons un responsable de l'annotation des données pour constituer notre équipe d'annotation à partir de zéro – en établissant des normes de qualité, en concevant des cadres d'évaluation et en gérant les opérations d'annotation derrière nos évaluations de sécurité, RLHF et benchmarks.

À propos de nous : White Circle est une entreprise de sécurité AI construisant la couche de sécurité, de fiabilité et d'optimisation pour les systèmes d'IA. Au cœur de notre plateforme se trouvent des politiques – des règles simples en langage naturel qui définissent ce qu'un modèle d'IA doit et ne doit pas faire. Nous testons, appliquons et améliorons continuellement ces politiques à grande échelle.

Nous avons récemment levé notre tour de financement de série A, portant notre financement total à 70 millions de dollars. Nos investisseurs incluent des fonds de premier plan, des fondateurs et des dirigeants seniors d'OpenAI, Anthropic, HuggingFace, Mistral, DeepMind, Datadog, Sentry, et d'autres.

Nous traitons plus de 100 millions d'appels API chaque mois. Nous ajustons et formons nos propres LLM afin qu'ils fonctionnent plus rapidement et moins cher que tout modèle ouvert ou propriétaire. Nous sommes déjà à un taux de revenus de plusieurs millions de dollars, ayant signé des clients comme Lovable et plusieurs néobanques. Vous rejoindrez l'entreprise à un moment très excitant - suffisamment tôt pour que l'équité puisse changer la vie, mais à un moment où la demande a été prouvée.

Dans ce rôle, vous :

• Construirez à partir de zéro et dirigerez l'équipe d'annotation des données (recrutement, coaching et gestion de la performance).
• Définirez des directives d'annotation, des normes de qualité et des cadres d'évaluation.
• Développerez des processus d'assurance qualité, des sessions de calibration et des systèmes d'audit.
• Collaborerez avec des chercheurs et des ingénieurs en IA pour traduire les objectifs de recherche en flux de travail d'annotation.
• Prioriserez les projets d'annotation en fonction des besoins commerciaux et de recherche.
• Surveillerez les indicateurs opérationnels, y compris la qualité, la cohérence, le rendement et le coût.
• Améliorerez les outils d'annotation, l'automatisation et l'efficacité des flux de travail.
• Dirigerez des projets d'évaluation AI complexes, y compris la sécurité, le classement des préférences, RLHF, l'évaluation des politiques et la création de benchmarks.
• Analyzerez les modèles de désaccord et les cas limites pour améliorer les directives et la performance des modèles.
• Gérerez les relations avec les fournisseurs et garantirez une qualité constante au sein des équipes distribuées.
• Construirez des tableaux de bord de reporting et communiquerez des informations opérationnelles à la direction.
• Favoriserez une culture d'amélioration continue, de responsabilité et d'excellence opérationnelle.

Nous recherchons quelqu'un qui :

• A de l'expérience dans la direction d'équipes d'annotation de données ou d'évaluation AI.
• A de solides compétences en gestion opérationnelle et en gestion des personnes.
• Comprend l'évaluation des modèles AI, le comportement des LLM et les flux de travail d'annotation modernes.
• Peut concevoir des processus évolutifs sans sacrifier la qualité.
• Communique clairement entre les équipes techniques et non techniques.
• Flotte dans des environnements de startup en évolution rapide.

Vous pourriez être un excellent candidat si vous :

• Avez géré des programmes d'annotation pour des LLM, de l'IA générative ou de l'apprentissage automatique.
• Avez de l'expérience avec RLHF, la collecte de données de préférence, les évaluations de sécurité ou la création de benchmarks.
• Avez travaillé dans la confiance et la sécurité, la sécurité AI, la modération de contenu ou les opérations ML.
• Avez géré des équipes d'annotation distribuées ou mondiales.
• Avez de l'expérience en gestion de fournisseurs et en opérations d'externalisation.

Points bonus :

• Familiarité avec l'ingénierie des invites et les politiques de sécurité AI.
• Expérience en SQL, Python ou analyse de données.
• Expérience dans la construction de plateformes d'annotation internes ou d'automatisation des flux de travail.
• Connaissances en linguistique, sciences cognitives, apprentissage automatique ou opérations de données.

Note importante : Ce rôle implique la supervision de projets pouvant inclure du contenu offensant, nuisible, violent, sexuel ou autrement dérangeant. Vous serez responsable de garantir que les examinateurs disposent des outils, des conseils et du soutien nécessaires pour effectuer ce travail en toute sécurité et de manière cohérente.

Rémunération et avantages :

• Rémunération compétitive, y compris des actions.
• Temps libre flexible.
• Bureau spacieux au cœur du 2ème arrondissement de Paris, avec un cadre hybride flexible.
• Soutien à la relocalisation si vous déménagez à Paris, disponible après votre période d'essai.
• Assurance santé privée premium.
• Soutien en santé mentale, y compris la couverture pour la thérapie lorsque vous en avez besoin.
• Cours de langue pour vous aider à améliorer votre anglais ou votre français.
• Déjeuner et dîner couverts lorsque vous travaillez au bureau.
• Soutien à l'apprentissage et au développement pour des cours, des conférences et des opportunités de développement de vos compétences.
• Tous les matériels, abonnements, outils et services dont vous avez besoin.
• Sorties d'équipe deux fois par an : nous sommes récemment allés dans les Alpes, à Saint-Tropez et à Marbella.

Processus :

• Appel d'introduction (25 min).
• Test d'évaluation à domicile.
• Conversation finale avec le PDG (45 min).