Cast AI is seeking a senior ML inference infrastructure engineer to optimize throughput, latency, and cost across our GPU fleet. You will tune loaders, schedulers, and KV caches, ensuring scalable, multi-node inference while maintaining model quality.
You will own the technical direction, work with vLLM/SGLang/TensorRT-LLM stacks, and collaborate across a global, remote-first team. A strong production background is essential.
#J-18808-Ljbffr
Senior ML Inference Systems Engineer | Remote & Equity employeur : Cast AI
Cast AI est un employeur exceptionnel qui valorise l'innovation et la collaboration à distance, offrant à ses employés des opportunités de croissance dans un environnement dynamique et en pleine expansion. Avec une culture axée sur l'autonomie et le travail d'équipe, les Account Executives bénéficient d'une formation continue et d'un soutien pour exceller dans leur rôle tout en contribuant à des solutions qui optimisent les coûts et améliorent les performances des clients. Rejoindre Cast AI, c'est faire partie d'une entreprise soutenue par des investisseurs de premier plan, où chaque membre de l'équipe a un impact significatif sur le succès global.
