26届校招-大模型算法工程师（预训练数据质量）
北京正式互联网 / 电子 / 网游
职位描述
【岗位职责】一、大规模预训练数据处理与优化1. 设计和优化PB级多模态训练数据的筛选、去重、清洗体系2. 基于LLM模型的语义级去重算法、质量筛选算法优化3. 领域特定数据筛选策略，支持代码、数学、科学等专业领域二、数据质量评估与优化体系1. 构建基于大模型的数据质量自动评估系统2. 设计数据多样性、复杂度、有用性等多维度评估指标3. 优化数据配比策略，包括领域权重、语言分布、质量分层4. 构建数据污染检测算法，识别测试数据泄露
职位要求
【任职要求】一、基础要求1. 统招本科及以上学历，计算机、AI相关专业2. 大模型预训练项目经验，深度参与过大模型预训练数据处理3. 有处理TB级以上训练数据的实际项目经验二、技术能力1. 精通分布式计算框架（Spark、Ray、Maxcompute等）2. 掌握高性能文本处理算法（LSH、SimHash等）3. 熟悉云原生数据处理架构4. 熟悉数据质量评估指标和方法【加分项】1. 有开源大模型项目数据相关的贡献经验2. 发表过大模型数据相关的顶会论文3. 熟悉 AI 伦理与安全合规的数据处理流程4. 多模态数据处理经验
投递
Sign in
To continue your applicationor continue with email
By continuing you agree to our Terms & Privacy Policy.