大模型评测分析师

岗位描述

1. 参与大模型评测体系落地与数据闭环建设： 协助搭建和完善大模型标准化评测体系，负责评测集管理、样本采样、机评/人评数据校验、评测结果统计复盘；跟进评测全流程，保障评测数据真实、可信、可追溯，沉淀标准化评测报告，支撑模型能力量化评估；
2. 场景问题提炼与标准化评测能力沉淀： 基于日常评测数据与业务反馈，归纳模型高频问题、场景共性缺陷，协助产品经理梳理可复用的评测规则、评测维度与验收标准，区分场景定制化需求与通用…
3. 具备优秀的问题拆解与数据洞察能力，能够从繁杂的业务案例、评测数据中提炼核心问题，输出清晰的分析结论与优化建议；
4. 拥有系统化的评测思维与逻辑能力，理解标准化规则搭建的核心逻辑…