平台产品规范负责人

岗位描述

1. 评测体系建设：面向用户交互场景，设计覆盖搜索、推荐、频道、模型输出结果、优化过程等场景的体验标准和评测框架，保障评测标准对产品迭代有效性，评测结果可解释可复现，并主导Benchmark数据集构建与持续迭代，防控数据污染与评测失效；
2. 搭建自动化评测工程：通过judge model等自动评测流水线，设计多评委协作机制，控制评测偏见，持续提升自动评测与人工标注的一致性，实现自动化评测；
3. 数据生产与质量管控…
4. 计算机、人工智能、统计学、数学或相关专业，本科及以上学历；5年以上搜索/推荐/NLP算法或大模型评测领域工作经验，有搜索算法背景者优先；
5. 具备从0到1搭建评测体系的完整经验…