En un coup d'œil
- Missions: Développez un cadre d'évaluation fiable et rapide pour des benchmarks innovants.
- Entreprise: H, une entreprise technologique à la pointe de l'innovation.
- Avantages: Salaire compétitif, travail hybride, et opportunités de développement professionnel.
- Autres infos: Travaillez dans un environnement collaboratif avec des chercheurs et ingénieurs.
- Pourquoi ce job: Rejoignez une équipe dynamique et impactez le futur des agents informatiques.
- Qualifications: Expérience en développement backend avec Python et systèmes distribués.
Le salaire estimé est compris entre 61650 - 75350 € par an.
About H
When we released Holo4 on 28 September, we published every trajectory behind its public benchmark scores at trajectories. hcompany. ai.
For OSWorld that's 369 desktop tasks, each run 3 times, with the steps, tokens and time of every attempt.
This role builds and runs the evaluation framework that produces runs like these.
H builds computer-use agents and the models behind them. Developers use them through a managed API, and our forward deployed engineers take them into enterprise workflows.
What this team owns
The evaluation framework: orchestration, runtimes and observability.
Researchers and forward deployed engineers bring the benchmarks, across web apps, desktop applications and the command line.
Your job is to make the framework that runs them reliable, fast and cheap, and to make adding a new one quick.
Research uses the results to choose checkpoints and decide whether a model ships.
Product and the forward deployed engineers use them to measure agents on customer workflows.
It carries roughly 50 benchmarks now.
That number should be between 100 and 200 soon, and the framework has to keep up.
- What you'd be doing
- Integration support for researchers and forward deployed engineers bringing in a benchmark, with a shorter path each time.
- Setting the standard for how a benchmark enters the framework, and building the checks that enforce it.
- Scheduling and observability, so cluster capacity isn't left idle while evaluation jobs queue.
- Reproducible results across trials, so a release decision rests on numbers that hold.
- Whatever stack a benchmark calls for. One week that's cluster tuning; the next it's a browser extension or desktop environments.
- Time with customers, from single developers to large companies, to find out what they want measured, then automating it so the results flow back into our harnesses and models.
- The first few months
By 3 months you'll have helped researchers or forward deployed engineers integrate 5 benchmarks, and started fixing what slows the framework down.
By 6 months one part of it is yours, for example scaling the runs, observability, or a group of related benchmarks, and a release will have gone out on your numbers.
By 12 months you'll know the design and trade-offs of the whole evaluation system, and be the person the rest of H asks about evaluations.
Who you'd work with
Ceiran Chapman, our VP Engineering, is hiring for this role.
You'd join the evaluation team.
The people relying on your work day to day are H's researchers and forward deployed engineers.
- What we think it takes
- Likely a good fit if you
- Have spent 5+ years in backend development, with production Python at the core, and use coding agents to go faster without letting quality drop.
- Have built test, QA or evaluation tooling that other teams depended on, and care whether a number is right.
- Have operated distributed systems on Kubernetes in a public cloud. AWS experience helps most.
- Have built and shipped systems end to end, including APIs (REST or Graph QL) and integrations with outside services.
- Know relational and non-relational databases, and message queues such as SQS, Rabbit MQ or Kafka.
- Instrument what you build, with metrics, tracing and monitoring from the start.
- Stronger still if you have
- Measured LLM quality before, or built agents yourself.
- Packaged and run workloads in Docker and on virtual machines.
- Used Temporal, Dask, Fast API, Postgre SQL, Grafana or Datadog.
- Automated web or desktop software with Playwright, Selenium or a browser extension you wrote.
- Set standards other engineers follow, through code review, design review or mentoring.
You do not need a background in machine learning. We'll work that out with you.
How we hire
A 30 minute call with our Talent team, a 60 minute technical challenge, a 60 minute system design interview, and a 30 minute final conversation with Ceiran.
About 3.5 hours in total.
Practicalities
London posting
Hybrid in London. That means 3 office days a week and a Paris trip about once every 4 to 6 weeks. There is a Paris posting for the same role. We offer a competitive package.
#J-18808-Ljbffr
Senior Software Engineer - London in Paris employeur : Creandum
En tant qu'employeur, Bolt se distingue par sa culture dynamique et collaborative, offrant à ses employés des opportunités de croissance professionnelle au sein d'une équipe locale engagée. Situé à Paris, ce poste d'Operations Specialist vous permettra de jouer un rôle clé dans l'optimisation de l'expérience des conducteurs, tout en bénéficiant d'un environnement de travail stimulant qui valorise l'innovation et l'autonomie. De plus, Bolt propose des avantages compétitifs et un cadre de travail flexible, favorisant un équilibre entre vie professionnelle et personnelle.
Conseils d'expert StudySmarter🤫
Voici comment nous pensons que tu pourrais décrocher Senior Software Engineer - London in Paris
✨Construire ton réseau tech
Connecte-toi avec des professionnels de l'ingénierie et du développement logiciel via des meetups tech ou des conférences comme DevFest. C'est un excellent moyen d'apprendre sur les dernières tendances et de te faire connaître dans le milieu.
✨Contribuer à des projets open-source
Montre tes compétences en rejoignant des projets open-source sur GitHub. Non seulement cela renforce ton portfolio, mais ça te permet également de collaborer avec d'autres développeurs et de bâtir ta réputation dans le monde tech.
✨Préparer un excellent entretien
Pour décrocher un emploi à plein temps, il est crucial de préparer des réponses aux questions techniques et comportementales. Fais des simulations d'entretiens avec des amis ou en utilisant des plateformes dédiées pour te sentir plus à l'aise.
✨Postuler sur notre site
N'oublie pas de consulter notre site pour des opportunités chez Creandum. Postuler directement peut te donner un accès privilégié à nos offres et montrer ton intérêt spécifique pour notre entreprise. Allez, fonce !
Nous pensons qu'il te faut ces compétences pour exceller en tant que Senior Software Engineer - London in Paris
Quelques conseils pour ta candidature 🫡
Démarre avec un CV percutant:Pour un poste d'ingénieur en développement logiciel, mets en avant tes compétences techniques comme les langages de programmation que tu maîtrises. N'hésite pas à inclure les projets sur lesquels tu as travaillé, surtout ceux qui montrent ton impact dans des situations concrètes. Les employeurs adorent voir ce que tu es capable de créer !
Valorise tes projets personnels:Si tu as des projets personnels ou des contributions sur GitHub, assure-toi de les inclure dans ta candidature. Cela te permet de montrer non seulement tes compétences techniques, mais aussi ta passion et ton engagement pour le développement logiciel. C'est un excellent moyen de te démarquer des autres candidats !
Personnalise ta lettre de motivation:Prends le temps de personnaliser ta lettre de motivation pour Creandum. Explique pourquoi tu es attiré par cette entreprise et comment tes compétences peuvent répondre à leurs besoins. C'est l'occasion de montrer un côté plus humain de ta candidature et d'expliquer ce qui te motive !
Soigne la mise en page:Une mise en page claire et concise est cruciale pour les candidatures dans le domaine de l'ingénierie logicielle. Utilise des sous-titres et des listes pour rendre ton CV et ta lettre plus facile à lire. Cela montre aussi que tu as un sens de l'organisation, ce qui est super important dans notre domaine !
Comment te préparer à un entretien d'embauche chez Creandum
✨Maîtrise des Outils de Développement
Assure-toi d'être à l'aise avec les outils et les langages de programmation que privilégie Creandum. Par exemple, si tu sais qu'ils utilisent beaucoup Java ou Python, revisite tes concepts clés et sois prêt à discuter de tes projets antérieurs qui mettent en avant ces compétences.
✨Prépare des Exemples de Projets Concrets
Rassemble des exemples concrets de projets sur lesquels tu as travaillé, surtout ceux qui mettent en avant des défis techniques. Sois prêt à expliquer tes choix, tes erreurs et comment tu as résolu des problèmes - cela montre ton process de réflexion et ta capacité à apprendre.
✨Sois Prêt pour des Tests Techniques
Il est fréquent d'avoir des tests techniques lors des entretiens dans l’ingénierie logicielle. Prépare-toi à résoudre des problèmes de codage en direct. Pratique sur des plateformes comme LeetCode ou HackerRank pour rester affûté et confortable face à la pression.
✨Montre Ton Intérêt pour l’Innovation
Dans le cadre d'un poste à temps plein, les employeurs cherchent des passionnés qui se tiennent à jour avec les dernières tendances technologiques. N’hésite pas à parler de tes lectures récentes, de conférences auxquels tu as assisté ou même de projets open-source que tu pourrais avoir suivis ou rejoints.
