模型评测专家
北京全职互联网 / 电子 / 网游 - 研发
职位描述
负责音视频生成大模型方向的评测与质检工作，包括设计benchmark、评测体系构建、评测质检以及输出专业评测报告，保证评测时效性与评测质量；1. 评测体系迭代：密切关注音视频生成技术的前沿动态和行业需求变化，持续优化 Benchmark构建维度、模型评测维度、指标权重及测试用例，确保评测体系始终适配技术发展与业务拓展需求；2.模型评测：对生成的音视频进行主观质量评估。包括视频能力（语义遵循、画质、美学、合理性、叙事、清晰度等）、音频（音质、台词等），给出专业的主观评价意见；3. 评测方案设计与执行：从专业的角度，参与制定并执行评测方案，及测试集的设计。负责对评测团队进行培训指导，把控标注质量和评测结论的准确性；4. 评测数据整理与分析：对评测过程中产生的数据进行整理和分析，及时发现生成中存在的问题，分析不同场景、考察维度下的效果变化，形成评测报告，为项目团队提供有价值的专业参考信息和针对性的改进建议，协助优化模型效果；5. 跟进行业主流竞品多模态生成/理解模型及行业能力变化，有敏锐的用户视角参与竞品调研、线上效果分析、算法效果分析、问题挖掘归因和行业评测探索，为模型迭代和项目决策提供参考；6.擅长使用AI提高工作效率，具备一定的影视美学鉴赏能力，思维灵活，踏实认真。
职位要求
1、本科及以上学历，数字媒体艺术、美术、设计、动画、影视编导、导演、摄影、技术美术；或技术方向计算机、人工智能、数据分析等相关专业优先 ；2、具备较好的审美判断力和视听语言理解能力，对音视频内容质量有较强判断力，熟悉视频画质、美学构图、镜头语言、叙事逻辑、运动合理性、音质、音色、节奏、音画匹配等评价维度；3、对 AIGC 创作有实际经验，熟悉从创意构思、Prompt 设计、素材准备、模型生成、结果筛选、后期调整到成片交付的完整流程；有影视拍片项目经历、影视行业制作经验或全流程 AIGC 创作经验者优先；4、深度使用过业界主流文生图、文生视频、多模态大模型或音频生成工具者优先，如即梦、Seedance、海螺、Nano Banana 等；有竞品评测经验，能够清晰分析不同模型的效果水位、优势短板和适用场景者优先；5、有 AI 算法测试、数据标注、评测体系建设或标注 POC 经验者优先；对大模型、AIGC、多模态生成、视频生成等方向有较深入理解者优先。仅有纯执行型标注经验、缺少评测分析和标准建设能力者不优先；6、具备较强的主观判断能力和结构化分析能力，能够将主观视听感受拆解并量化为客观评价标准，逻辑清晰、思维敏捷，善于分析总结，并能清楚表达自己的观点、判断依据和问题归因；7、具备良好的数据敏感度、文档能力和跨团队沟通能力，能够输出评测方案、标注规范、质检报告、评测报告等材料，并与算法、产品、标注团队高效协同；8、具备优秀的快速学习能力、抗压能力和项目推进意识，能够适应多轮模型迭代、批量样本评测、紧急交付和复杂问题排查；9、有代码编写经验优先，熟悉 Python、SQL、数据处理、自动化评测脚本、可视化分析，或具备基于 AI 工具提升数据处理和评测效率的能力者优先。
投递
Sign in
To continue your applicationor continue with email
By continuing you agree to our Terms & Privacy Policy.
相似的工作
