大模型/Agent评测工程师-剪映

岗位描述

1. 通用评测体系建设：包括评测标准，评测集，评估能力，评测结果分析与归因等系列能力建设，跟踪前沿评测技术与Benchmark趋势，开展技术调研与创新实践，推动评测体系升级；
2. 评测分析：基于评测结果进行分析与诊断，挖掘模型或Agent在推理、规划、工具调用、代码执行等环节的问题，并输出改进建议。
3. 本科及以上学历，计算机科学、人工智能、软件工程等相关专业；
4. 对主流大模型的原理、能力边界及典型应用场景有较深入理解，熟悉大模型与Agent的常见评测方法；
5. 具备良好的工程基础，能够参与或主导评测框架、工具或平台的设计与实现；
6. 具备良好的业务理解能力、沟通与协作能力，能够与算法、产品…