顶尖应届-大模型推理框架研发工程师-基础技术平台

小米科技 Xiaomi Technology (Beijing, China) Follow 18 hours ago

Premium Full-time

Apply Now

北京

校招

正式

软件研发类

27届未来星

职位描述

1、负责基于 SGLang 等技术的大模型推理框架的开发工作，包括但不限于设计和实现高效的推理引擎架构，优化推理过程中的计算流程，提高推理性能。以满足不同规模大模型的实时推理需求复杂大模型框架性能评估和调优工作，构建并完善性能监控体系，通过实时监测训练指标，定位性能瓶颈，提出优化方案，确保在不同硬件上达到最优性能。2、负责Cuda Kernel优化，开发高性能的GPU算子, 提升大模型推理性能。

职位要求

1、计算机/电子/数学等相关专业硕士及以上学历；2、精通C/C++，熟悉Python，具备扎实的数据结构与算法基础，ACM/ICPC、NOI等竞赛获奖者优先；3、熟悉NVIDIA GPU架构及编程模型，掌握CUDA核函数优化、显存管理、多流并发等技术，有实际性能调优经验；4、熟悉PyTorch、Megatron、vLLM/SGLang等深度学习训练和推理框架；5、有分布式系统开发经验，熟悉MPI、NCCL等通信库，或参与过大模型训练/推理项目者优先。

投递

Apply Now

Save Job