大模型评测工程师-Data（北京/上海）

岗位描述

1. 负责大模型评测体系建设：负责将业界SOTA大模型（含多模态大模型）部署到内部评测环境，基于多领域评测集完成规模化跑测，验证并校准模型评估指标，保障评测流程的准确性与可复现性；
2. 开源评测集适配与集成：调研并引入业界主流开源评测集（覆盖文本、多模态与Agent三类，以多模态与Agent评测为主），将其适配、接入到内部模型评测体系，统一评测指标口径与执行流程，保障评测的覆盖度、针对性与可复现性；
3. Agen…
4. 本科及以上学历，计算机科学、人工智能、数学、统计学等相关专业；
5. 扎实掌握机器学习、深度学习核心理论，熟悉大模型底层原理，了解常见大模型(含多模态大模型)的特性与主流评测方法…