AI Agent算法评测工程师

蔚来 · 上海

来源：蔚来官方招聘 · 更新于 2026-06-18 · 抓取快照，投递前请确认岗位仍在招

全职技术上海等 6 年经验数字技术

岗位描述

搭建评测框架：构建针对RAG、Tool Calling、多步推理的自动化评测Pipeline，覆盖任务成功率与轨迹合理性。裁判模型建设：落地LLM-as-a-Judge机制，解决打分偏差问题，实现Agent每日回归测试。基准与数据集：维护业务评测黄金集，跟进行业Benchmark（如AgentBench），定期输出竞品对比报告。缺陷归因：深度分析失败轨迹，区分是模型能力不足还是框架设计缺陷，推动底层优化。硬核技能：精通Python，熟悉Pytest，能独立搭建自动化测试工程。懂大模型：熟悉RAG、Function Calling原理，擅长复杂Prompt设计与调优。工程基础：熟悉…