大模型预训练算法实习生

大模型预训练算法实习生

北京校招实习算法类

职位描述

1. 前沿探索与价值提炼​深入调研多模态大模型预训练、世界模型、端到端自动驾驶等前沿方向，包括但不限于：BEV感知+Occupancy Network：从鸟瞰视角统一表达三维环境，结合时序Transformer实现动态障碍物与可通行区域建模。视觉-语言模型（VLM）与驾驶推理：利用CLIP、LLaVA等多模态对齐技术，将自然语言指令、交通规则与视觉特征深度融合，提升复杂场景理解能力。扩散模型与轨迹生成：研究基于扩散策略（Diffusion Policy）的连续轨迹预测与控制，解决多模态不确定性与长尾分布问题。世界模型与因果推理：探索基于隐空间动力学预测的世界模型，实现闭环仿真与决策鲁棒性评估。定期输出高质量调研报告，量化分析各技术路线对量产体验的潜在增益（如接管率降低、舒适度提升、长尾场景覆盖率提高）。2. 量产预训练方案研发​参与设计并优化面向量产车端的预训练框架，重点攻克：高效多模态融合：在计算资源受限下，设计轻量化跨模态注意力机制（如Cross-Attention Pruning、Token Merging）。时序一致性预训练：利用对比学习、掩码重建等自监督范式，学习连续帧间的运动规律与语义对应关系。数据驱动的小样本适应：结合在线难例挖掘、自动标注与数据增强（如LiDAR-to-Camera投影扰动、对抗光照模拟），提升模型对极端天气、异形车辆等罕见场景的泛化能力。最终交付可直接部署至实车的预训练权重及配套蒸馏方案，显著提升感知、预测、规划全链路指标。3. 创新攻坚与学术引领​聚焦行业级难题，推动技术边界突破：端到端联合优化：打破传统模块化流水线，探索可微规划器与感知特征的梯度直通，实现从像素到控制信号的全局最优。大规模并行预训练：利用ZeRO、FSDP、Megatron-LM等分布式策略，在万卡集群上完成千亿参数多模态模型的稳定训练。闭环评估与安全对齐：构建基于真实路采与仿真引擎的混合评测体系，引入对抗攻击测试、不确定性量化，确保模型行为符合驾驶伦理与法规。鼓励以第一作者身份投稿顶会（CVPR/ICCV/ECCV/NeurIPS/CoRL），并提供完整的实验平台、标注数据和算力支持。

职位要求

硕士及以上学历，计算机视觉、深度学习、自动驾驶、AI大模型等相关专业；在自动驾驶、多模态学习、强化学习/模仿学习等领域有高水平论文发表经历（如顶会一作）；具备扎实的编程能力（Python/C++）及主流框架（PyTorch/JAX）开发经验；有知名自动驾驶公司或顶级AI实验室实习经历者优先；在Kaggle、nuScenes、Waymo Challenge等竞赛中获奖者优先。

投递