模型推理系统工程师
上海校招正式技术族 - 软件类职位 ID：A223864
职位描述
1. 负责机器人端侧模型运行后端建设，支持 SLM、VLM、Omni、TTS 等模型的稳定推理。2. 参与模型导出、量化、推理引擎构建、版本管理和性能基线建设。3. 支持 Model Gateway 后端能力，包括 Infer、Stream、Cancel、Warmup、Health、Metrics 等接口。4. 完成 TensorRT、TensorRT-LLM、ONNX Runtime、vLLM、SGLang 等推理后端适配。5. 分析模型 TTFT、P95/P99、内存峰值、吞吐、显存占用和端到端时延。6. 负责模型运行日志、端云对齐、结构化输出稳定性验证。7. 与模型训练、交互系统和 Infra 团队协作，推动模型在机器人端侧 Demo 中稳定运行。
职位要求
* 熟悉 C++ / Python / Linux；* 熟悉至少一种推理框架或推理服务工具，如 TensorRT、ONNX Runtime、vLLM、SGLang、Triton、TensorRT-LLM；* 理解模型量化、推理引擎、流式推理、KV cache、batching、warmup 等基本概念；* 熟悉基本性能分析方法，能定位 CPU、GPU、内存、IO、调度瓶颈；* 具备工程系统意识，能建设稳定接口、日志和监控。加分项* 做过 Jetson / Orin / Thor / 8295 / NPU / GPU 端侧模型部署；* 熟悉 CUDA、TensorRT Plugin、CUDA Graph、INT8/FP8、KV cache 优化；* 做过 gRPC / HTTP 推理服务、模型网关或多模型调度；* 熟悉 C++ 多线程、内存池、性能 profiling；* 有机器人、自动驾驶、智能硬件、智能座舱部署经验。
投递
Sign in
To continue your applicationor continue with email
By continuing you agree to our Terms & Privacy Policy.
Similar jobs
