客服大模型评测负责人

岗位描述

评测体系建设：面向用户交互场景，设计覆盖基座模型、端到端Agent、用户体验等场景的评测框架和标准，保障评测可解释可复现，并主导Benchmark数据集构建与持续迭代，防控数据污染与评测失效 搭建自动化评测工程：通过judge model等自动评测流水线，设计多评委协作机制，控制评测偏见，持续提升自动评测与人工标注的一致性，推动评测提效 数据生产与质量管控：主导评测/训练数据合成方案设计，建立标注规范与质检体系… 计算机、人工智能、统计学、数学或相关专业,本科及以上学历，3年大模型评测工作经验以上优先 熟悉业界主流评测工具集和评测集，有独立设计评测框架和评测标准经验 了解Python语言，有…